文章目录
一:kafka的log-存储机制
1、kafka中log日志目录及组成
kafka在我们指定的log.dir目录下,会创建一些文件夹;名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下,会有两个文件存在,如下所示:
#索引文件
00000000000000000000.index
#日志内容
0000000000000000000.log
在目录下的文件,会根据log日志的大小进行切分,.log文件的大小为1G的时候,就会进行切分文件;
在kafka的设计中,将offset值作为了文件名的一部分
比如:topic的名字为:test,有三个分区,生成的目录如下如下所示:
test-0
test-1
test-2
kafka日志的组成
- segment file组成:由两个部分组成,分别为index file和data file,此两个文件一一对应且成对出现; 后缀.index和.log分别表示为segment的索引文件、数据文件。
- segment文件命名规则:partion全局的第一个segment从0开始,后续每个segment文件名为上一个全局 partion的最大offset(偏移message数ÿ