partition
segment
topic:主题,表示消息属于那种主题(可以理解为消息的分类)
partition:分区,从大的概念来说topic 中的消息都是存放在patition 中,一个topic 可以有多个partition,一个partition 可以有多个副本
offset:偏移量,在kafka 中offset 是partition 中消息序列号,可以认为是这个消息的唯一标识
segment:多个大小相等的segment file (段)组成了一个partition。
segment file 是什么?
每个partition 就相当于一个巨型的文件 里面由多个大小相等的segment file小文件组成,但是每个segment file 的消息数量并不一定相等,这种设计方便旧的segment file 快速删除
每个partition 只需支持顺序进行读写即可,segment 的生命周期由服务端配置参数决定
segment file 由2大部分组成,以.index结尾的索引文件,和以.log 结尾的数据文件 ,索引文件和数据文件的名称是一样的只是文件