RocketMQ存储篇——Consumequeue

最新推荐文章于 2024-08-04 21:30:00 发布

meilong_whpu

最新推荐文章于 2024-08-04 21:30:00 发布

阅读量6.3k

点赞数 1

分类专栏： RocketMQ

本文链接：https://blog.csdn.net/meilong_whpu/article/details/76921208

版权

本文详细介绍了RocketMQ的ConsumeQueue，包括其类结构、数据存储格式、删除逻辑文件、恢复内存数据、查找消息时间、获取消息偏移量、消息刷盘、写入消息信息以及索引获取等内容，揭示了RocketMQ高效处理消息的关键机制。

摘要由CSDN通过智能技术生成

Consumequeue类对应的是每个topic和queuId下面的所有文件。Consumequeue类文件的存储路径默认为$HOME/store/consumequeue/{topic}/{queueId}/{fileName}，每个文件由30W条数据组成，每条数据的结构如下图所示：这里写图片描述
消息的起始物理偏移量physical offset(long 8字节)+消息大小size(int 4字节)+tagsCode(long 8字节)，每条数据的大小为20个字节，从而每个文件的默认大小为600万个字节。

每个cosumequeue文件的名称fileName，名字长度为20位，左边补零，剩余为起始偏移量；比如00000000000000000000代表了第一个文件，起始偏移量为0，文件大小为600W，当第一个文件满之后创建的第二个文件的名字为00000000000006000000，起始偏移量为6000000，以此类推，第三个文件名字为00000000000012000000，起始偏移量为12000000，消息存储的时候会顺序写入文件，当文件满了，写入下一个文件。