RocketMQ的物理偏移量和逻辑偏移量

最新推荐文章于 2023-11-16 16:25:53 发布

路行的亚洲

最新推荐文章于 2023-11-16 16:25:53 发布

阅读量1.2k

点赞数 2

分类专栏： RocketMQ

本文链接：https://blog.csdn.net/trytostudy/article/details/114555649

版权

RocketMQ 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

RocketMQ的物理偏移量和逻辑偏移量
在这里插入图片描述

消息存储中CommitLog、ComsumeQueue、IndexFile之间的关系

CommitLog 文件：

消息存储文件，所有主题的消息随着到达 Broker 的顺序写入 CommitLog 文件，每个文件默认为1G，文件的命名也及其巧妙，使用该存储在消息文件中的第一个全局偏移量来命名文件，这样的设计主要是方便根据消息的物理偏移量，快速定位到消息所在的物理文件。RocketMQCommitLog 文件使用顺序写，极大提高了文件的写性能。

ConsumeQueue 文件：

消息消费队列文件，是 CommitLog 文件的基于 Topic 的索引文件，主要用于消费者根据 Topic消费消息，其组织方式为 /topic/queue，同一个队列中存在多个文件，ConsumeQueue 设计极具技巧性，其每个条目使用固定长度（8字节 CommitLog 物理偏移量、4字节消息长度、8字节 Tag HashCode），这里不是存储 tag 的原始字符串，而是存储 HashCode，目的就是确保每个条目的长度固定，可以使用访问类似数组下标的方式来快速定位条目，极大的提高了 ConsumeQueue文件的读取性能，试想一下，消息消费者根据Topic、消息消费进度(ConsumeQueue 逻辑偏移量)，即第几个 ConsumeQueue 条目，这样根据消费进度去访问消息的方法为使用逻辑偏移量logicOffset* 20即可找到该条目的起始偏移量( ConsumeQueue 文件中的偏移量)，然后读取该偏移量后20个字节即得到了一个条目，无需遍历 ConsumeQueue 文件。

IndexFile 文件：

基于物理磁盘文件实现 Hash 索引。其文件由40字节的文件头、500W个 Hash 槽，每个Hash槽为4个字节，最后由2000万个 Index 条目，每个条目由20个字节构成，分别为4字节的索引key的 HashCode、8字节消息物理偏移量、4字节时间戳、4字节的前一个Index条目( Hash 冲突的链表结构)。