RocketMQ存储篇——数据文件的访问入口(DefaultMessageStore)

1 根据topic和queueId查找ConsumeQueue(findConsumeQueue)

调用findConsumeQueue(String topic, int queueId)方法获得,从ConsumeQueue集合consumeQueueTable: ConcurrentHashMap

2 根据物理偏移量和数据大小获取消息内容(lookMessageByOffset)

调用lookMessageByOffset(long commitLogOffset, int size)方法获取从指定开始位置读取size大小的消息内容。在该方法中,调用commitlog的getMessage方法从commitlog中获取消息,并调用MessageDecoder.decode方法对commitlog消息进行解码,最后返回MessageExt对象。其中MessageExt对象对象的MsgId长度为16字节,有8字节的消息存储本机的IP:PORT和8个字节的该消息的物理偏移offset值构成;

3 将消息写入commitlog中(putMessage)

调用putMessage(MessageExtBrokerInner msg)方法完成消息的写入工作。具体步骤如下:
1)检查是否shutdown,若是则直接返回服务不可用的错误;
2)检查是否为备用Broker,若是则直接返回服务不可用的错误;
3)检查是否有写的权限,若是则直接返回服务不可用的错误;
4)检查topic的长度是否大于最大值127,若是则返回消息不合法;
5)检查peroperties的长度是否大于32767,若是则返回消息不合法;
6)上述检查全部通过之后,调用CommitLog对象的putMessage方法进行消息的写入;
7)完成消息写入之后,调用StoreStatsService对象进行相关统计工作;

4 读取commitlog消息(getMessage)

调用DefaultMessageStore.getMessage(String group,Stringtopic,int queueId,long queueoffset, int maxMsgNums, SubscriptionData subscriptionData)方法读取消息。大致逻辑如下:
1、调用CommitLog.getMaxOffset()方法获取commitlog文件目前写入的最大位置maxOffsetPy;
2、以topic和queueId为参数调用findConsumeQueue方法,从DefaultMessageStore.consumeQueueTable中获取ConsumeQueue对象,若没有获取到该ConsumeQueue对象(一般不会出现此情况)表示该topic和queuId下面的队列不存在,则返回GetMessageResult对象信息,该对象中STATUS=NO_MATCHED_LOGIC_QUEUE,NextBeginOffset=0的消息,若取到了ConsumeQueue对象,即该topic和queueId下面有队列存在,则继续下面的逻辑;
3、获取该ConsumeQueue对象的最小逻辑offset(命名:minOffset=minLogicOffset/20)和最大逻辑 offset(命名:maxOffset=MapedFileQueue.getMaxOffset()/20);
4、对请求参数中的queueoffset进行有效性检验:
4.1)若maxOffset等于0,则status= NO_MESSAGE_IN_QUEUE,nextBeginOffset=0;
4.2)若请求消息中的queueoffset小于minOffset,则status= OFFSET_TOO_SMALL,nextBeginOffset=minOffset;
4.3)若请求消息中的queueoffset等于maxOffset,则status=OFFSET_OVERFLOW_ONE&#x

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值