kafka学习四-工作流程及文件存储

1 kafka工作流程

kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的
topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储的就是producer生产的数据。producer生产的数据会被不断追加到log文件的末端，且每条数据都有自己的offset
offset是一个long型的数字，通过这个offset可以确定一条在该partition下的唯一消息。在partition下是保证有序的，但是在topic下面没有保证有序性
消费者组中的每个消费者，都会实时记录自己消费到哪个offset以便出错恢复，从上次的位置继续消费

2 文件存储机制

2.1 存储机制

由于生产者生产的消息会不断追加到log文件末端，为防止log文件过大导致数据定位效率低，kafka采取了分片和索引机制，将每个partition分为多个segment（逻辑上的概念，index+log文件）
每个partition（目录）相当于一个巨型文件被平均分配到多个大小相等的segment（片段）数据文件中（每个segment文件中消息数量不一定相等），这种特性也方便old segment的删除，即方便已被消费的消息的清理，提高磁盘的利用率。每个partition只需要支持顺序读写就行，segment的文件生命周期由服务端配置参数（log.segment.bytes，log.roll.{ms,hours}等若干参数）决定
每个segment对应两个文件----“.index”和“.log”文件。分别表示为segment索引文件和数据文件（引入索引文件的目的就是便于利用二分查找快速定位message位置）。这两个文件的命名规则为：
partition全局的第一个segment从0开始，后续每个segment文件名以当前segment的第一条消息的offset命名，数值大小为64位，20位数字字符长度，没有数字用0填充。
这些文件位于一个文件夹下（partition目录），改文件夹的命名规则：topic名+分区序号。例如，first这个topic有三个分区，则其对应的文件夹为first-0，first-1，first-2

index和log文件以当前segment的第一条消息的offset命名。

2.2 index和log文件

.

index 索引文件存储大量的索引信息，.log数据文件存储大量消息数据（message），索引文件中的元数据指向对应数据文件中message的物理偏移地址。以index索引文件中的元数据3    699为例，依次在数据文件中表示第三个message（在全局Partition中表示第9个message），以及该消息的物理偏移地址为699

2.3 message的结构

Segment的Log文件由多个Message组成，下面详细说明Message的物理结构，如图

2.4 如何通过offset查找message

先二分查找获取对应index索引文件，获取到对应的物理offset，拿着物理offset去log数据文件顺序查找对应消息，返回查找到的消息。
例如：读取offset=170418的Message，需要通过如下两个步骤。
第一步：查找segment File
00000000000000000000.index表示最开始的文件，起始偏移量（offset）为0；第二个文件00000000000000170410.index的起始偏移量为170410，依次类推。以起始偏移量命名并排序这些文件，只要根据offset二分查找文件列表，就可以快速定位到具体文件。
当offset=170418时，定位到00000000000000170410.index|log。

第二步：通过segment File查找Message
假如索引文件第八行是【8，1235】，定位到数据文件的1235位置进行读取，然后根据消息体大小确定什么时候读取结束