Kafka学习-----文件存储机制和分片索引

一.Kafka工作流程

1.整体架构

消息交互两方分别是生产者Producer和消费者Consumer，Kafka集群Cluster中，有三个broker，类似于三个实例。其中针对同一个Topic A有三个不同分区Partition，每个都有自己的follower（备份用）。

2.需要注意⚠️：

1. Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。
2. topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文 件，该 log 文件中存储的就是 producer 生产的数据。
3. Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己 消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

二.分片索引机制

由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位 效率低下，Kafka 采取了分片和索引机制，将每个 partition 分为多个 segment。每个 segment 对应两个文件——“.index”文件和“.log”文件。

这些文件位于一个文件夹下，该文件夹的命名 规则为:topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first- 0,first-1,first-2。

其中的文件内容如下：

00000000000000000000.index //每个segment都有一个.index文件一个.log文件
00000000000000000000.log 
00000000000000170410.index 
00000000000000170410.log 
00000000000000239430.index 
00000000000000239430.log

index 和 log 文件以当前 segment 的第一条消息的 offset 命名 。

• 什么意思呢？，以上面的文件内容举例00000000000000000000.index 说明第一条消息offset是0，也就是最开始的位置；00000000000000170410.index 这里偏移量是170410，说明是170410这个位置开始。

下图为 index 文件和 log 文件的结构示意图。

示例：如何找到对应offset的Message消息呢

offset=3，首先选择从哪个Segment找，找到文件名为0的.index文件，其中包含了一个映射的表，offset为3的消息，这个3是一个逻辑偏移量并不是实际存储的物理位置，其物理偏移量为756，这样就可以从.log文件的756位置开始，根据对应消息长度索引到消息的位置。效率很高

• 总结一下 “.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元 数据指向对应数据文件中 message 的物理偏移地址。

三.总结

1. topic是逻辑概念，partition是物理概念
2. .log文件存放实际数据，生产者的数据都会被追加到.log文件中
3. 为防止 log 文件过大导致数据定位 效率低下，Kafka 采取了分片和索引机制，将partition分为多个segment，分别进行索引
4. .index文件存储大量的索引信息，.log文件存储大量的数据，索引文件中的元 数据指向对应数据文件中 message 的*物理偏移地址