Kafka的基础原理

一、Kafka的基础特点

1、消息系统有两种模型（队列和发布订阅）。kafka使用消费者组统一了上述的两种模型。

同一个消费者组内的消费者之间是队列模型。不同的消费者组之间是订阅模型。

二、kafka中zookeeper的作用

1、管理broker和consumer

　　zookeeper用来存储kafka集群的元数据信息

2、不管理producer

三、kafka的生产者流程　　

在正常情况下，Kafka中的每个Topic都会有很多个分区，每个分区又会存在多个副本。在这些副本中，存在一个leader分区，而剩下的分区叫做 follower，所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候，必须先找到对应分区的Leader及其所在的Broker地址，这样才可以进行后续的操作。本文将要介绍的就是 Kafka 是如何找到 leader 分区的。

由于Producer和Consumer都只会与Leader角色的分区副本相连，所以kafka需要以集群的组织形式提供主题下的消息高可用。kafka支持主备复制，所以消息具备高可用和持久性。

生产者客户端也可以配置某种算法用来规划消息发往那个partiton。

四、kafka的消费者流程

 五、kafka的controller

kafka会从所有的broker中选取一个broker作为controller。

参考文献：

kafka源码分析：https://www.jianshu.com/p/aa274f8fe00f

kafka生产者：https://www.jianshu.com/p/4297ad291f1a

kafka消费者：https://www.jianshu.com/p/de95656373c1?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

kafka如何寻找leader分区：https://blog.csdn.net/b6ecl1k7BS8O/article/details/80164679

kafka设计原理：https://www.cnblogs.com/likehua/p/3999538.html

kafka的配置：https://www.cnblogs.com/sodawoods-blogs/p/8969513.html

kafka消息系统：https://www.cnblogs.com/cyfonly/p/5954614.html

kafka的原理和特性：https://yuanhsh.iteye.com/blog/2202880

kafka的元数据管理：https://blog.csdn.net/bingdianone/article/details/88555490#ZK_1

kafka知识点详解：https://www.cnblogs.com/zhangwuji/p/9491190.html

转载于:https://www.cnblogs.com/erdanyang/p/11063539.html