RocketMq源码解析十三：消息消费

于 2024-07-24 10:17:51 发布
阅读量82 收藏
点赞数
分类专栏： rocketmq源码解析 文章标签： rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/money9sun/article/details/140288511
版权

消息消费过程 

        PullMessageService负责对消息队列进行消息拉取，从远端服务器拉取消息后将消息存储ProcessQueue消息队列处理队列中然后调用ConsumeMessageservice#submitconsumeRequest方法进行消息消费，使用线程池来消费消息，确保了消息拉取与消息消费的解耦。

        ConsumeMessageService支持顺序消息和并发消息，核心类图如下:

ConsumeMessageOrderlyService：顺序消费服务

ConsumeMessageConcurrentlyService：并发消费服务,concurrently就是同时的意思

并发消费

        ConsumeMessageConcurrentlyService#submitconsumeRequest

        我们先来看并发消费中的提交方法

 @Override
    public void submitConsumeRequest(
        final List<MessageExt> msgs,
        final ProcessQueue proc
了解本专栏 订阅专栏 解锁全文 超级会员免费看
专业的程序员
关注
专栏目录
订阅专栏
RocketMq源码解析十：消息消费
money9sun的博客
07-01 150
消息消费以组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组之间有集群模式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式:推模式、拉模式。所谓的拉模式，是消费端主动拉起拉消息请求，而推模式是消息达到消息服务器后，推送给消息消费者。。
RocketMq源码解析一：源码结构介绍
money9sun的博客
05-21 230
从本章开始我们对Rocketmq的源码进行解析。使用版本是4.9.8。
RocketMQ源码：consumer消费流程
Java技术攻略的博客
04-07 327
消费的过程要比消息的生产复杂的多，简单总结下消费者启动拉取消息的服务,先阻塞在这里然后启动重平衡服务,重平衡就是给当前消费者指定要去消费哪个queue,然后上面的就可以拉取消息了发送netty请求到broker,从commitlog读取消息读取到消息后开始处理消息，解码消息，根据TAG过滤消息消费者消费消息处理消费者的消费结果。
RocketMQ消息消费源码分析
C18298182575的博客
12-10 297
消息消费流程图 当消息存储到broker后，启动消费者消费，每个消费者都是一个DefaultMQPushConsumer，都要实现consumeMessage方法，每次去拉取新消息， 消费者启动初始化 DefaultMQPushConsumerImpl#start方法 public synchronized void start() throws MQClientException { switch (this.serviceState) { ..
【RocketMq源码】八、消息的消费
promiseful的博客
09-14 111
1. 检查消费者是否合法 checkGroup() 生产组名称不能为空 、 生产者组的最大长度 255、判断命名规则（"^[%|a-zA-Z0-9_-]+$";） 2. 构建主题订阅信息 3.设置消费者客户端实例名称为进程ID 4.创建MQClient实例 5. 构建rebalanceImpl 默认AllocateMessageQueueAveragely 6. 消息消费广播模式,将消费进度保存在本地 7. 消息消费集群模式,将消费进度保存在远端 Broker ...
RocketMQ 源码分析 06 消息消费01
郭传志的博客
10-01 197
消息消费方式 ： 拉取、推送 从何处开始消费，可选值： 1）CONSUME_FROM_LAST_OFFSET：上一次消费偏移量 2）CONSUME_FROM_FIRST_OFFSET：从头开始 3）CONSUME_FROM_TIMESTAMP：从某个时间点开始 消费进度存储 其实现类为：OffsetStoreoffsetStore。消费者需要记录消息消费的进度： 1）广播模式：广播模式由于每...
RocketMQ之消费者，消息消费、消费进度上报流程详解 附源码解析
通往IT大道的专栏
07-12 1724
从上一步拉取消息到消费者后，将拉取到的一批消息提交给并发消费服务，并发消费服务将消息封装成一个个消费请求（每个消费请求将消费一批消息，默认一批只包含一条消息）提交给消费线程池进行消费。新创建的重试消息是定时消息，它的 Topic 是定时消息 Topic，定时消息的机制会不停扫描定时消息 Topic 中的队列，看该消息是否到期，如果到期则投递。Broker 收到请求后用延迟消息机制，用该消息重新消费的次数计算延迟等级，生成一个新消息，将重新消费次数 + 1，作为延迟消息放入消息存储。消费成功则更新消费进度；
RocketMq源码解析十二：消息消费负载
最新发布
money9sun的博客
07-18 134
RocketMQ消息队列重新分配是由RebalancService线程来实现，一个MQClientinstance持有一个RebalanceService的实现，并随着MQClientInstance的启动而启动。注意:消息队列的分配遵循一个消费者可以分配到多个队列，但同一个消息队列只会分配给一个消费者，如果消费者数量大于消息队列数量，则有些消费者无法消费消息。这里我们可以看到，实际上是针对每个topic进行了负载均衡 ，核心方法为this.rebalanceByTopic(topic, isOrder)
RocketMq源码解析八：实时更新消息消费队列与索引文件
money9sun的博客
06-19 91
消息消费队文件、消息属性索引文件都是基于CommitLog文件构建的，当消息生产者提交的消息存储在CommitLog文件中，ConsumerQueue、indexFile需要及时更新，否则消息无法及时被消费，根据消息属性查找消息也会出现较大延迟。RocketMQ通过开启一个线程ReputMessageservice来准实时转发Commitlog文件更新事件，相应的任务处理器根据转发的消息及时更新ConsumerQueue、indexFile文件。
透彻剖析RocketMQ的消息顺序消费和并发消费机制体系的原理分析
bjmsb79的博客
07-21 1350
DefaultMQPushConsumerImpl拉取消息首先，DefaultMQPushConsumerImpl 是一个实现了 RocketMQ 的消费者客户端接口的类。该类的主要作用是从 RocketMQ 的 Broker 获取消息并进行消费。主要可以通过pullMessage方法进行获取对应的操作，如下图所示。​编辑切换为居中添加图片注释，不超过 140 字（可选）在消费消息时，DefaultMQPushConsumerImpl 会将获取到的消息放入一个processQueue中，processQue
全网最细RocketMQ源码五：消息消费
一只小星星
03-06 674
从topicSubscribeInfoTable（这里具体在哪里生成？MqInstance有个定时任务去拉取主题路由数据，并同时生成主题发布数据，同时也会生成主题订阅数据，也就是topicSubscribeInfoTable）找到该主题对应的Set。入口是 MQClientInstance里面的rebalanceService -> 查询注册到MQClientInstance所有的消费者 ->消费者的doReblance方法。获取当前消费者 想要消费的主题, z。
RocketMQ源码(21)—ConsumeMessageConcurrentlyService并发消费消息源码
终生学习践行者
02-13 2039
基于RocketMQ release-4.9.3，深入的介绍了ConsumeMessageConcurrentlyService并发消费消息源码。
RocketMQ消息消费（Consumer）源码解析
bao2901203013的专栏
08-23 2161
RocketMQ中消息消费以消费组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组内消费者之间有集群模式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式即PullConsumer，是消费端主动拉起拉消息请求，而推模式即PushConsumer,是消息达到消息服务器后，推送给消息消费者。......
RocketMq消费者拉取消息源码
weixin_47068446的博客
04-05 658
发起拉取请求之前，会进行一系列的校验，例如服务状态校验、流控校验、顺序消费和并发消费的校验，都通过之后，创建拉取消息的回调函数对象PullCallback，当拉取消息的请求返回之后，将会调用回调函数。那么延迟发送拉取消息请求。MQClientAPIImpl的方法，首先构建构建请求命令对象，请求Code为PULL_MESSAGE，然后根据设置的消息拉取模式，调用不同的方法发起不同请求进行消息拉取。创建拉取消息的回调函数对象PullCallback，当拉取消息的请求返回之后，将会调用回调函数。
【RocketMQ】源码详解：消息拉取、消息消费流程、Push模式长轮询
博客
03-27 1143
通过这个处理器处理拉取消息的请求，调用org.apache.rocketmq.store.DefaultMessageStore#getMessage来拉取消息，先去consumequeue查询消息在commitlog中的偏移量和大小，再根据此偏移量和消息长度查询真正的消息内容。而拉取一次再次放入的前提是，pullRequestQueue中有请求，那么第一次拉取消息请求就是在重平衡时添加进去的，而重平衡服务在消费者启动时会进行一次唤醒，所以第一次放入拉取消息请求是在消费者启动时。
RocketMQ源码分析（四）Consumer
YHJ
05-24 1122
1.5 Consumer 1.5.1 消息消费概述 消息消费以组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组之间有集群式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式，是消费端主动拉起拉消息请求，而推模式是消息达到消息服务器后，推送给消息消费者。RocketMQ消息推模式的实现基于拉模式，在拉模式上包
RocketMQ-Push模式下并发消费和顺序消费的区别
p7+的博客
04-01 6446
注册的消息监听不同 并发消费：consumer.registerMessageListener(new MessageListenerConcurrently() {} 顺序消费：consumer.registerMessageListener(new MessageListenerOrderly() {} 返回状态码不同 并发消费： public enum ConsumeConcurre...
RocketMQ——Consumer篇：PULL消费模式下的调度消费服务
meilong_whpu的专栏
08-11 5627
与PUSH模式相比，PULL模式需要应用层不间断地进行拉取消息然后再执行消费处理，提高了应用层的编码复杂度，为了Pull方式的编程复杂度，RocketMQ提供了调度消费服务（MQPullConsumerScheduleService），在topic的订阅发送变化（初次订阅或距上次拉取消息超时）就触发PULL方式拉取消息。1 应用层使用方式该类是PULL模式下面的调度服务，当RebalanceImp
【Bug】RocketMQ在Pull模式下无法正确获取消费进度Offset
【涘涘回来啦】
09-01 4475
前两天踩了个大坑。分享记录一下爬坑过程。 现象：RocketMQ的Pull模式在cluster模式集群环境下，无法正确的获取/更新某些队列的消费进度。 为了爬坑顺着DefaultMQPullConsumer往下简单读了读代码，记录一下这里控制消费进度的大致逻辑： 1、Consumer里有一个OffsetStore，在cluster模式下的实现类是RemoteBrokerOffsetStore...
RocketMQ源码深度剖析：消息中转内核机制详解
深入探索RocketMQ源码：透视消息中间件的内核机制 在本文中，作者带领读者走进RocketMQ的世界，从源码环境的搭建开始，逐步剖析其核心组件和功能。首先，搭建源码环境时，建议从Apache RocketMQ GitHub仓库（<https...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值