Kafka知识盘点【贰】_broker

最新推荐文章于 2024-08-25 23:59:28 发布

xinzun

最新推荐文章于 2024-08-25 23:59:28 发布

阅读量470

点赞数

分类专栏：消息队列文章标签： kafka 消息队列 mq java 分布式

本文链接：https://blog.csdn.net/xinzun/article/details/105882423

版权

本文深入探讨了Kafka Broker的核心——消息的存储和高可用机制。详细阐述了Kafka如何存储消息，包括segment文件的结构、索引文件的工作原理，以及页缓存和零拷贝技术的运用。此外，还介绍了Kafka的副本机制、ISR集合和Controller的角色，揭示了Broker在集群中的高可用策略。

摘要由CSDN通过智能技术生成

Kafka知识盘点【壹】_生产者

kafka broker这部分，可能是kafka系列知识的核心所在。好好总结。

1.消息的存储

1.1 存储文件

在上文曾经介绍过，kafka的消息都是由partition为维度保存的。实际情况下，每个partition正是broker上的一个文件夹，文件夹下保存了segment和index两种文件。

segment文件分为日志文件和索引文件。日志文件后缀名为.log，保存在/${topicName}-${partitionid}/路径下，是实际保存消息的日志文件。每个文件最大不超过1G，超过后将新建文件继续保存。文件名命名规则是64位long大小，19位数字字符长度，不足用0填充，数字是上一个log文件的最后一个offset值+1。

索引文件保存路径与.log文件一致。索引文件的分段逻辑默认和log文件一样，同时也支持单独配置。索引不会针对每条消息都创建，而是当log文件每隔一定的字节数(由log.index.interval.bytes配置，默认4KB)再创建。索引文件可分为偏移量索引(offset index)和时间戳索引(timestamp index)两种。

偏移量索引：后缀名为.index。每条索引占8个字节，包含relativeOffset和position两部分。relativeOffset是相对偏移量占用4个字节，表示消息相对于日志分段文件名的偏移量(relativeOffset = 消息偏移量messageOffset - 消息所在日志分段文件的开始偏移量baseOffset)。position是消息所在具体的日志分段文件的位置，占用4