RocketMQ源码阅读（十三）Consumer-消息消费

最新推荐文章于 2024-08-20 23:45:00 发布
最新推荐文章于 2024-08-20 23:45:00 发布
阅读量785 收藏 1
点赞数
分类专栏： 笔记 RocketMQ 文章标签： rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyjy11/article/details/126247666
版权

目录

ConsumeMessageConcurrentlyService

ConsumeRequest

processConsumeResult

ConsumeMessageOrderlyService

在上一节，消息拉取后将消息放入ProcessQueue，并异步发起消费申请，如下代码

消费请求由 consumeMessageService 处理，先来看实现类是什么

在DefaultMQPushConsumerImpl#start，消费者启动时，会根据我们注册的消息监听来进行初始化，如下

分为了顺序消费和非顺序两种实现，挨个看源码 

ConsumeMessageConcurrentlyService

并发消费

参数List<MessageExt> 每次消费多少条消息，由参数ConsumeMessageBatchMaxSize控制

ConsumeRequest

ConsumeMessageConcurrentlyService.ConsumeRequest#run

消费前调用钩子函数进行消费前处理，然后调用MessageListener进行业务处理

最后根据消息消费返回值，进行不同的处理

processConsumeResult

返回CONSUME_SUCCESS表示成功消费，更新消费进度

返回RECONSUME_LATER表示消费失败，需要重新发送一份消息到Broker进行延时消费 

 

ConsumeMessageOrderlyService

顺序消费

首先消息消费时对队列的负载均衡逻辑，确保了每个Topic的每个消费队列只被一个Consumer订阅和消费（集群模式），但是顺序消费同时必须保证同一时间只有一个线程来消费这个队列，所以ConsumeMessageOrderlyService与ConsumeMessageConcurrentlyService一个最大的区别就是在消费队列时，先加锁来保证当前JVM中同一时间只有一个线程来进行消息消费。

提交消费申请代码如下，提交消费请求时不像并发消费，没有将消息并发提交到线程池消费，而是以队列为单位提交任务执行

ConsumeMessageOrderlyService.ConsumeRequest#run

如上，MessageQueueLock为每个队列new了一个Object，消费时先获取消息队列对应的Object，对其加锁后再进行消息消费

 

李有乾
关注
专栏目录
RocketMQ 消费者消息回发 解析——图解、源码级解析
如切如磋，如琢如磨
09-16 2173
📆 最近更新：2022年9月9日🍊 个人简介：通信工程本硕💪、Java程序员🌕。做过科研paper，发过专利，优秀的程序员不应该只是CRUD。
源码分析RocketMQ消息过滤机制上篇-----消息消费服务端过滤与TAG模式过滤实现
2401_84103216的博客
05-04 703
上述资源来源于 RocketMQ 官方文档。通过官方文档，我们基本可以知道，消息的过滤机制与服务端息息相关，更细一点的讲，与拉取消息实现过程脱离不了关系，事实上也的确如此，MessageFilter 的使用者也就是 DefaultMessageStore#getMessage 方法，为了弄清楚消息过滤机制，我们先看一下 MessageFilter 接口，然后详细再浏览一下消息拉取实现细节。
RocketMQ源码分析----Consumer消费进度相关
菜鸟一名
12-28 1453
在Consumer消费的时候总有几个疑问： 消费完成后，这个消费进度存在哪里 消费完成后，还没保存消费进度就挂了，会不会导致重复消费 Consumer 消费进度保存 消费完成后，会返回一个ConsumeConcurrentlyStatus.CONSUME_SUCCESS告诉MQ消费成功，以MessageListener的consumeMessage为入口分析。 消费的时候，是以ConsumeR...
RocketMQ源码分析 - Consumer
最新发布
mry6的博客
08-20 1071
消息消费以组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组之间有集群模式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式，是消费端主动拉起拉消息请求，而推模式是消息达到消费服务端后，推送给消息消费者。RocketMQ消息推模式的实现基于拉模式，在拉模式上包装一层，一个拉取任务完成后开始下一个拉取任务。
RocketMQ源码(21)—ConsumeMessageConcurrentlyService并发消费消息源码
终生学习践行者
02-13 2049
基于RocketMQ release-4.9.3，深入的介绍了ConsumeMessageConcurrentlyService并发消费消息源码。
RocketMQ源码(22)—ConsumeMessageOrderlyService顺序消费消息源码
终生学习践行者
02-18 2208
基于RocketMQ release-4.9.3，深入的介绍了ConsumeMessageOrderlyService顺序消费消息源码。
RocketMQ Consumer消息消费过程（三）、消息的处理
LZJLZJLZJLZJLZJLZJ的专栏
01-23 2262
目录说明消息处理流程图拉取结果处理ConsumeMessageOrderlyService总结 说明 从上一节《Consumer消息消费过程（二）、消息的拉取》中，我们知道，拉取到消息后，会通过调用回调函数的方式对消息进行处理。在本节中，我们就学习下消息的处理过程。 消息处理流程图 拉取结果处理 1、如果消息拉取失败，则直接调用回调函数的onException方法，该方法会重新将消息拉取请求放入PullMessageService的阻塞队列，重新放入的任务会间隔一段时间（默认3秒）后才执行 2、如果拉取
【RocketMQ】【源码】消息的消费
S-H_A-N
04-09 1813
当RocketMQ进行消息消费的时候，是通过`ConsumeMessageConcurrentlyService`的`submitConsumeRequest`方法，将消息提交到线程池中进行消费，具体的处理逻辑如下： 1. 如果本次消息的个数小于等于批量消费的大小`consumeBatchSize`，构建消费请求`ConsumeRequest`，直接提交到线程池中进行消费即可 2. 如果本次消息的个数大于批量消费的大小`consumeBatchSize`，说明需要分批进行提交
rocketmq-all-5.1.1-bin-release.zip
06-06
- **Consumer**：消费者，从RocketMQ系统中拉取消息并进行处理。 - **Message**：RocketMQ中的基本数据单元，包含主题（Topic）、标签（Tag）和消息体（Body）等信息。 2. **工作流程**： - 生产者通过...
rocketmq-all-5.2.0-bin-release.7z
03-07
8. 消费者策略：RocketMQ支持集群消费和广播消费，集群消费适合消息的均衡分发，广播消费则能让每个消费者都能收到所有消息。 9. 事务消息：RocketMQ提供事务消息功能，实现了分布式事务的一致性，使得业务处理与...
源码分析RocketMQ消息消费机制----消费端消息负载均衡机制与重新分布
2401_84103216的博客
05-04 704
什么是ActiveMQ?ActiveMQ服务器宕机怎么办？丢消息怎么办？持久化消息非常慢怎么办？消息的不均匀消费怎么办？死信队列怎么办？ActiveMQ中的消息重发时间间隔和重发次数吗？
RocketMQ 消息消费
chenbin1991smile的博客
02-13 1637
本章主要分析 RocketMQ 如何消费消息，重点剖析消息消费的过程中需要解决的问题 。 ·消息队列负载与重新分布 ·消息消费模式 ·消息拉取方式 ·消息进度反馈 ·消息过滤 ·顺序消息 1 RocketMQ 消息消费概述 消息消费以组的模式开展， 一个消费组内可以包含多个消费者，每一个消费组可订阅多个主题，消费组之间有集群模式与广播模式两种消费模式 。 集群模式，主题下的同一条消息只允许被其中一个消费者消费 。 广播模式，主题下的同一条消息将被集群内的所有消费者消费一次。 消息服务器与消费者之间的消息传送
RocketMQ消息消费
xhl1123456789的博客
06-03 1987
rocketMq消息消费流程
手撕RocketMQ源码——ConsumeMessageService
cjdjcdj的博客
05-26 1049
引言
Consumer消息拉取和消费流程分析
程序员小潘
09-10 2157
1. 前言 MQConsumer是RocketMQ提供的消费者接口，从接口定义上可以看到，它主要的功能是订阅感兴趣的Topic、注册消息监听器、启动生产者开始消费消息。 ​ 消费者获取消息的模式有两种：推模式和拉模式，对应的类分别是DefaultMQPushConsumer和DefaultMQPullConsumer，需要注意的是，在4.9.0版本，DefaultMQPullConsumer已经被废弃了。 Push模式下，由Broker接收到消息后主动推送给消费者，实时性较高，但是会增加Broker的压力。
从源码分析RocketMQ系列-Consumer消息接收逻辑
初学者
03-19 3493
导语   在前面的分析中分析了关于Producer发送消息的逻辑，并且追踪到了在DefaultMQPushConsumerImpl 类中的有对应的消息监听方法，这个消息监听的方法是从Consumer调用 start()方法就开始启动的，但是从Consumer的示例代码中会看到，并没有像是Producer那样的明显表示Receive的方法而是通过我们下面要分析的方法来实现。 文章目录Consum...
Rocket之消息消费
qq_38571892的博客
11-23 1051
Rocket消息消费概述 消费模式 消费方式 消息队列负载和重新分布机制 消息消费过程 定时消息机制 顺序消息 消息过滤
RocketMQ系列之Consumer-普通消息（九）
sharedCode源码交流
11-17 999
欢迎移步到我的个人博客网站查阅该文章 RocketMQ系列之Consumer-普通消息（九）
RocketMQ消息拉取consumer端实现
tousdi的博客
05-08 698
在Apache RocketMQ中，消费者（Consumer）通过拉取（Pull）或推送（Push）模式来获取消息。但是在传统Push模式下可能会造成consumer端压力过大或处理不过来的场景，所以在RocketMQ统一采取手动Pull模式。
rocketmq源码阅读
06-19
阅读RocketMQ源码可以帮助你深入了解其内部工作机制、设计模式以及优化策略。以下是阅读RocketMQ源码的一些步骤和关键点： 1. **入门准备**： - 安装必要的依赖：首先需要对Java和相关开发环境（如Maven或Gradle）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值