一、架构
Topic:一个队列,Topic将消息分类。
Consumer Group:消费者组,逻辑上的一个订阅者,消费者组内的每个消费者负责消费不同分区的数据,以提高消费能力。
Partition:为了实现扩展性,提高并发能力,一个Topic以多个Partition的方式分布在多个Broker上。每个Partition是一个有序的队列,一个Topic的Partition都有若干个Replica,一个leader和若干个follower。生产者发送数据的对象、消费者消费数据的对象都是leader。follower会实时从leader 中同步数据,保持和leader数据同步。leader故障时,某个follower会成为新的leader。
kafka produce都是批量请求,会积攒一批,然后一起发送,不是调send()就进行立刻进行网络发包。
订阅 Topic 是以一个消费组来订阅的,一个消费组里面可以有多个消费者。同一个消费组中的两个消费者,不会同时消费一个 Partition。
换句话来说,就是一个 Partition,只能被消费组里的一个消费者消费,但是可以同时被多个消费组消费。
因此,如果消费组内的消费者如果比 Partition 多的话,那么就会有个别消费者一直空闲。
二、pull? push?
(一)pull模式
是pull模式。
根据消费者的消费能力进行数据拉取,可以控制速率。可以单条拉取或批量拉取。
但如果没有数据会造成消费者空循环,浪费资源。可通过设置参数,使消费者拉取数据为空时阻塞。
(一)push模式
不会导致消费者空等。
但速率固定,忽略了消费者的消费能力,可能导致网络拥塞。
三、生产者的消息确认机制
0 :producer不等待broker同步完成的确认,继续发送下一条(批)信息
1:producer要等待leader成功收到数据并得到确认,才发送下一条message。
-1:producer得到follwer确认,才发送下一条数据
四、如何保证数据可靠性
消息确认机制
TOPIC 分区副本 (数据的冗余备份)
LEADER选举
五、Partition的leader选举
每个分区的 leader 会维护一个 ISR (in-sync replicas)列表,ISR 列表里面就是 follower 副本的 Borker 编号,只有“跟得上” Leader 的 follower 副本才能加入到 ISR 里面,。只有 ISR 里的成员才有被选为 leader 的可能。
所以当 Leader 挂掉了,Kafka 会从 ISR 列表中选择第一个 follower 作为新的 Leader,因为这个分区拥有最新的已经 committed 的消息。通过这个可以保证已经 committed 的消息的数据可靠性。
五、如何保证数据一致性
类似木桶原理。
对于Leader新收到的msg,client不能马上消费,Leader会等待该消息被全部ISR中的replica同步后,更新HW,此时该消息才能被client消费,这样就保证了若是Leader fail,该消息仍然能够重新选举的Leader中获取。
六、Kafka的速度为什么那么快?
顺序IO写入
把所有的消息都变成一个批量的文件,并且进行合理的批量压缩,减少网络IO损耗,通过mmap提高I/O速度,
写入数据的时候由于单个Partion是末尾添加所以速度最优;
读取数据的时候配合sendfile直接暴力输出。
七、顺序IO
随机IO:假设我们所需要的数据是随机分散在磁盘的不同页的不同扇区中的,那么找到相应的数据需要等到磁臂(寻址作用)旋转到指定的页,然后盘片寻找到对应的扇区,才能找到我们所需要的一块数据,一次进行此过程直到找完所有数据,读取数据速度较慢。
顺序IO:假设我们已经找到了第一块数据,并且其他所需的数据就在这一块数据后边,那么就不需要重新寻址,可以依次拿到我们所需的数据。
八、mmap
即便是顺序写入硬盘,硬盘的访问速度还是不可能追上内存。所以Kafka的数据并不是实时的写入硬盘 ,它充分利用了现代操作系统 分页存储 来利用内存提高I/O效率。
Memory Mapped Files(后面简称mmap)也被翻译成 内存映射文件,它的工作原理是直接利用操作系统的Page来实现文件到物理内存的直接映射。完成映射之后你对物理内存的操作会被同步到硬盘上(操作系统在适当的时候)。
通过mmap,进程像读写硬盘一样读写内存(当然是虚拟机内存)。
使用这种方式可以获取很大的I/O提升, 省去了用户空间到内核空间 复制的开销(调用文件的read会把数据先放到内核空间的内存中,然后再复制到用户空间的内存中。)也有一个很明显的缺陷——不可靠, 写到mmap中的数据并没有被真正的写到硬盘,操作系统会在程序主动调用flush的时候才把数据真正的写到硬盘。