kafka的关键概念

一、重要概念

topic（主题）：以topic来归类消息，同类消息push到同一个topic；

partition（分区）：一个topic可以新建多个partitions，提高并发；

replication（副本）：一个partition可以有2或多个replications，一般至少设置为2，保证partition数据有备份。每个replication会分布在不同的broker（集群主机），即副本数不能大于集群主机数（？）。一个partition的所有副本中只有一个会被选举为leader，其它副本为follower，leader负责读写请求，follower负责同步leader的数据。所以，每个broker都会扮演某些partitions的leader角色，同时扮演另外一些partitions的follower角色；

consumergroup：对consumer进行分组，每条消息只能被同组内的一个consumer消费，多个consumer想要消费相同的消息，必须保证在不同的consumergroup中。

二、关键原理

1、存储
kafka是以文件形式存储数据，一个topic会有多个partitions，每个partition有一个专门的目录，目录名字格式为：topicname-number，例如kafka_test-0。第一个partition的序号为0，依次递增。
每个partition目录下会存在多个segment files，一组segment files包含三个文件：.index、.log、.timeindex，它们成组出现，.log为数据文件，.index为索引文件。
segment file的命名规则：第一个序号为0，后续的名字为上一个segment file中最后一条消息的offset值。总共20位，不足补0，例如：
00000000000000000000.index
00000000000000000000.log
00000000000000000000.timeindex
00000000100338992144.index
00000000100338992144.log
00000000100338992144.timeindex

参考资料：https://blog.csdn.net/vinfly_li/article/details/79397201