RocketMQ ConsumeQueue(消费队列)

说明

RocketMQ对新消息是顺序存在MapperFile上,但不同的Consumer需要订阅不同topic的数据,针对不同的Consumer,如果从原始数据进行数据拉取,这样效率非常低,有可能扫描完所有的MapperFile后,只有几条消息可供消费的。RocketMQ为了解决这种问题,引入了ConsumeQueue消费队列的概念:针对每一条消息,都会按topic和queueId进行分类。Consumer进行拉取消息时,Broker先从ConsumerQueue获取到待消费消息在CommitLog上的offset,根据offset从CommitLog中获取完整的消息。
ReputMessageService,会不停地检测是否有新的消息还未保存到ConsumerQueue中,当发现某条消息还未保存时,会将保存的任务分发给CommitLogDispatcherBuildConsumeQueue,然后保存到ConsumeQueue中。所以流程图大概如下:
在这里插入图片描述

ConsumerQueue建立过程

1、ReputMessageService不断的从CommitLog中获取未添加到ConsumerQueue的消息
在这里插入图片描述
2、获取到未添加到ConsumerQueue的消息后,会进行分发
在这里插入图片描述
分发的对象是从dispatcherList获取的,dispatcherList在DefaultMessageStore实例化时已经进行了初始化。这里只需要关注CommitLogDispatcherBuildConsumeQueue。
在这里插入图片描述
3、CommitLogDispatcherBuildConsumeQueue根据topic和queueId获取到对应的ConsumerQueue
在这里插入图片描述
调用putMessagePositionInfoWrapper方法进行处理
在这里插入图片描述
调用putMessagePositionInfo进行处理
在这里插入图片描述组装内容,刷新数据到磁盘文件
在这里插入图片描述

ConsumerQueue文件结构

在这里插入图片描述

总结

1、ConsumeQueue每条数据占20字节空间,包含三部分内容:消息的offset、消息大小size、tag的hashCode。单个ConsumeQueue文件最多保存30W条数据。
2、ConsumeQueue文件保存在${storePath}/topic/queueId/目录下。

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乐观男孩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值