kafka---架构讲解

新版本架构图如下图所示： 

注意点：

1、老版本 consumer 需要跟zookeeper进行连接，把offset存放在zookeeper中，新版本为了优化这块，已经把offset存在broker中的__consumer_offsets topic中

2、kafka是采用消息队列的点对点模式，生产者 push消息到 kafka集群中，消费者 消费消息 需要while(true)轮询 去 kafka集群中 主动去拉数据

3、生产者只能往一个topic中推数据，而且是往leader分区去推数据，具体往topic中哪个分区推数据，后续要专门讲一下

4、消费者可以同时消费多个topic ,当这个消费者没有配置group.id时，则会自动创建一个消费组，这个消费组里面只有这个一个消费，一个消费组在消费一个topic的时候，是消费完一个分区，然后才会消费下一个分区的数据

比如：有两个分区  分区1有数据 ， 1 ，4 ，7

                               分区2有数据 ， 2 ，5 ，8

则消费者消费的数据顺序为   147 258 

zookeeper里面存放的数据

 

 可见zookeeper里面主要存放的是 borker节点信息，topic及分区信息

broker 保存消息

物理上把topic分成一个或多个patition（对应 server.properties 中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition的所有消息和索引文件），如下：

[atguigu@hadoop102 logs]$ ll
drwxrwxr-x. 2 atguigu atguigu  4096 8月   6 14:37 first-0
drwxrwxr-x. 2 atguigu atguigu  4096 8月   6 14:35 first-1
drwxrwxr-x. 2 atguigu atguigu  4096 8月   6 14:37 first-2
[atguigu@hadoop102 logs]$ cd first-0
[atguigu@hadoop102 first-0]$ ll
-rw-rw-r--. 1 atguigu atguigu 10485760 8月   6 14:33 00000000000000000000.index
-rw-rw-r--. 1 atguigu atguigu      219 8月   6 15:07 00000000000000000000.log
-rw-rw-r--. 1 atguigu atguigu 10485756 8月   6 14:33 00000000000000000000.timeindex
-rw-rw-r--. 1 atguigu atguigu        8 8月   6 14:37 leader-epoch-checkpoint\

消息删除策略

无论消息是否被消费，kafka都会保留所有消息。有两种策略可以删除旧数据：

1）基于时间：log.retention.hours=168

2）基于大小：log.retention.bytes=1073741824

需要注意的是，因为Kafka读取特定消息的时间复杂度为O(1)，即与文件大小无关，所以这里删除过期文件与提高 Kafka 性能无关。

读写流程

数据流图： 

 

 读写流程用到了内存映射（操作系统缓存pageCache映射物理文件），零拷贝技术（主要是通过sendfile系统调用，避免用户态和内核态的数据复制）

#include <sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count);

ISR选举机制

floller分区是通过pull方式拉取leader分区的数据，存在一定延迟性，而且follwer分区会给leader分区发送心跳

根据副本和leader 的交互时间差，如果大于某个时间差 就认定这个副本不行了，就把此副本从isr 中剔除，此时间差根据配置参数rerplica.lag.time.max.ms=10000来决定
也就是默认10s，isr中的follow没有向isr发送心跳包就会被移除

unclean.leader.election.enable 设置为 false（默认参数为 true），意思是，当存有你最新一条记录的 replication 宕机的时候，Kafka 自己会选举出一个主节点，如果默认允许还未同步你最新数据的 replication 所在的节点被选举为主节点的话，你的数据将会丢失，因此这里应该按需将参数调控为 false；

假如  副本所在节点为 1，2，3，4    此时ISR列表  为空， 因为 1，2，3，4已经被剔除了，现在只能从副本所在节点去选择，选择任何一台都可能导致数据不一致，如果设置unclean.leader.election.enable为false,则会让整个分区挂掉，消费者也消费不了