Kafka的存储模型

有部分内容转自https://www.jianshu.com/p/3e54a5a39683这篇讲的很详细 易懂

Kafka一个Topic可以有多个Partition,多个线程，每个线程负责一个Partition进行读写

每个Paratition可以有多个LogSegment，每个LogSegment文件包括一个日志数据文件和两个索引文件（偏移量索引文件和消息时间戳索引文件）。

以上红字部分就是他的存储模型

其中，每个LogSegment中的日志数据文件大小均相等（该日志数据文件的大小可以通过在Kafka Broker的config/server.properties配置文件的中的“log.segment.bytes”进行设置，默认为1G大小（1073741824字节），在顺序写入消息时如果超出该设定的阈值，将会创建一组新的日志数据和索引文件

Kafka的索引文件是采用稀疏索引的方式，每隔一定的字节数建立了一条索引

所以在添加数据时，如果还没有LogSegment,就会建第一个LogSegment，然后把数据顺序写在该LogSegment的日志数据文件里，然后再把索引加到偏移量索引文件里去

偏移量索引文件的每条索引由offset和position组成，每个索引条目可以唯一确定在各个分区数据文件的一条消息

在查找数据时

先根据Position定位到LogSegment，再根据Position和offset在logSegment找到日志数据文件中对应数据的位置

原理就是这样