一张图来分析kafka必备的知识点

kafka知识点汇总

这张图中包含的知识点:
1、Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper
2、每个消费者都必须属于一个消费组，一个组内的消费者可以多个。
3、一个Topic可以有0到多个多个分区（Partition）
4、一个分区可以有0到多个segment。
5、每个segment可以有由一个log和一个index组成。
6、被复制的分区叫做主副本（Leader）,复制出来的叫做从副本（Follwer）
7、生产者只往主副本写数据，消费者只在主副本拉取数据。
8、从副本只做数据备份，不做数据读写。
9、一个分区内的一条数据，只能被一个消费组内的一个消费者消费。
10、消费者的最大并发度由topic的分区数量决定
11、分区副本的数量必须小于等于broker的数量
12、一个topic内的多个分区，每个分区只是所有数据的一部分。所有分区的数据累加到一起是这个topic的全部数据。
13、zookeeper中记录了broker的id 、消费者消费数据的offset,消费者与partition的对应关系（ConsumerA—> Partition-0, ConsumerB—> Partition-1）