Kafka数据存储详解

1.存储格式概述

 

• 每一个partion(文件夹)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件里。但每一个段segment file消息数量不一定相等，这样的特性方便old segment fifile高速被删除。（默认情况下每一个文件大小为1G）

• 每一个partiton仅仅须要支持顺序读写即可了。segment文件生命周期由服务端配置参数决定。

partiton中segment文件存储结构

segment fifile组成：由2大部分组成。分别为index file和data file，此2个文件一一相应，成对出现，后缀”.index”和“.log”分别表示为segment索引文件、数据文件.

segment文件命名规则：partion全局的第一个segment从0开始，之后每一个segment文件名称为上一个segment文件最后一条消息的offset值。数值最大为64位long大小。19位数字字符长度，没有数字用0填充。

[root@VM_0_7_centos yfy-0]# ll
total 4
-rw-r--r-- 1 root root 10485760 Oct 13 19:37 00000000000000000000.index
-rw-r--r-- 1 root root        0 Oct 13 19:37 00000000000000000000.log
-rw-r--r-- 1 root root 10485756 Oct 13 19:37 00000000000000000000.timeindex
-rw-r--r-- 1 root root        8 Oct 13 19:37 leader-epoch-checkpoint

2.日志索引

2.1 数据文件的分段

数据文件以该段中最小的offset命名。这样在查找指定offset的Message的时候，用二分查找就可以定位到该Message在哪个段中。

2.2 偏移量索引

数据文件分段使得可以在一个较小的数据文件中查找对应offffset的Message了，但是这依然需要顺序扫描才能找到对应offset的Message。为了进一步提高查找的效率，Kafka为每个分段后的数据文件建立了索引文件，文件名与数据文件的名字是一样的，只是文件扩展名为.index。

 

比如：要查找绝对offffset为7的Message：

首先是用二分查找确定它是在哪个LogSegment中，自然是在第一个Segment中。 打开这个Segment的index文件，也是用二分查找找到offffset小于或者等于指定offffset的索引条目中最大的那个offset。自然offset为6的那个索引是我们要找的，通过索引文件我们知道offffset为6的Message在数据文件中的位置为9807。

打开数据文件，从位置为9807的那个地方开始顺序扫描直到找到offset为7的那条Message。

这套机制是建立在offset是有序的。索引文件被映射到内存中，所以查找的速度还是很快的。

一句话，Kafka的Message存储采用了分区(partition)，分段(LogSegment)和稀疏索引这几个手段来达到了高效性。

3.日志删除

Kafka日志管理器允许定制删除策略。目前的策略是删除修改时间在N天之前的日志（按时间删除），也可以使用另外一个策略：保留最后的N GB数据的策略(按大小删除)。为了避免在删除时阻塞读操作，采用了copy-on-write形式的实现，删除操作进行时，读取操作的二分查找功能实际是在一个静态的快照副本上进行的，这类似于Java的CopyOnWriteArrayList。

Kafka消费日志删除思想：Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。

# 清理超过指定时间清理： 
log.retention.hours=16 
# 超过指定大小后，删除旧的消息： 
log.retention.bytes=1073741824

4.磁盘存储优势

Kafka在设计的时候，采用了文件追加的方式来写入消息，即只能在日志文件的尾部追加新的消息，并且不允许修改已经写入的消息，这种方式属于典型的顺序写入此判断的操作，所以就算是Kafka使用磁盘作为存储介质，所能实现的额吞吐量也非常可观。

Kafka中大量使用页缓存，这也是Kafka实现高吞吐的重要因素之一。

页缓存可以看下面这两篇博客：

• 聊聊page cache与Kafka之间的事儿：https://www.jianshu.com/p/92f33aa0ff52

• linux中的页缓存和文件IO：https://blog.csdn.net/gdj0001/article/details/80136364

 

Kafka中读写message有如下特点:

写message

• 消息从java堆转入page cache(即物理内存)。

• 由异步线程刷盘,消息从page cache刷入磁盘。

读message

• 消息直接从page cache转入socket发送出去。

• 当从page cache没有找到相应数据时，此时会产生磁盘IO,从磁盘Load消息到page cache,然后直接从socket发出去

Kafka高效文件存储设计特点

• Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。

• 通过索引信息可以快速定位message和确定response的最大大小。

• 通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。

• 通过索引文件稀疏存储，可以大幅降低index文件元数据占用空间大小。