RocketMQ - Consumer是如何从Broker上拉取一批消息过来处理的？

于 2024-03-21 07:33:29 发布
阅读量71 收藏
点赞数
分类专栏： RocketMQ - 你的消息队列技术引路人 文章标签： java-rocketmq rocketmq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangbaggio/article/details/136459985
版权
本文详细介绍了RocketMQ中消费者如何从Broker拉取并处理消息的过程，包括消费组概念、集群与广播消费模式、MessageQueue与消费者的关系、Push与Pull模式的工作原理，以及消费进度的提交和负载均衡机制。
摘要由CSDN通过智能技术生成
1、消费组到底是个什么概念？

在理解了Broker数据存储机制以及Broker高可用主从同步机制之后，我们就可以来看一下消费者是如何从Broker获取消息，并且进行处理以及维护消费进度的。首先，我们需要了解的第一个概念，就是消费者组。

消费者组的意思，就是让你给一组消费者起一个名字。比如说我们有一个Topic叫做“TopicOrderPaySuccess”，那么假设有库存系统、积分系统、营销系统、仓储系统他们都要去消费这个Topic中的数据。

此时我们应该给那四个系统分别起一个消费组的名字，比如说：stock_consumer_group，marketing_consumer_group，credie_consumer_group，wms_consumer_group。

设置消费组的方式是在代码里进行的，类似下面这样：

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer
了解本专栏 订阅专栏 解锁全文 超级会员免费看
无法无天过路客
关注
专栏目录
订阅专栏
rocketmq-externals-master.zip
12-04
- 消费者从Broker拉取或接收消息，处理后确认消费。 4. **源码解析关键点** - **NameServer模块**：理解其如何进行服务注册和发现，以及如何处理心跳和路由信息更新。 - **Broker模块**：关注消息的存储策略，如...
RocketMQ消息生产者是如何选择Broker的
m0_71777195的博客
11-25 1632
在RocketMQ中为，我们创建消息生产者时，只需要设置NameServer地址，消息就能正确地发送到对应的Broker中，那么RocketMQ消息生产者是如何找到Broker的呢？如果有多个Broker实例，那么消息发送是如何选择发送到哪个Broker的呢？
rocketmq-all-4.6.0-bin-release.zip
01-15
4. Consumer：Consumer 从 Broker 拉取消息或接收 Broker 推送的消息。消费模式有集群消费（多 Consumer 平摊消息）和广播消费（每个 Consumer 都收到所有消息）。 5. Topic 和 Queue：Topic 类似于消息的主题，...
最新版 rocketmq-all-4.8.0-bin-release.zip
01-04
- Push模式：消费者主动从Broker拉取消息。 - Pull模式：Broker推送消息到消费者。 - Topic与Queue：Topic是消息的主题，Queue是消息的实际存储单元，每个Topic可以有多个Queue。 4. **高可用性**： - Master-...
rocketMQ-master.zip
08-30
6. Topic：主题是消息的分类，Producer发送的消息需要指定一个Topic，Consumer根据Topic进行订阅。 7. Filter Server：可选组件，用于过滤和路由消息。在大规模场景下，如果Consumer需要做复杂的业务过滤，可以将这...
rocketmq-handson-apply
03-17
Pull模式下，消费者定时或按需从Broker拉取消息。 - **消息存储与重试**：RocketMQ将消息持久化到磁盘，确保消息不丢失。当消息发送失败时，RocketMQ会自动进行重试。 - **消息分发策略**：包括轮询和随机两种，...
RocketMQ - 什么是RocketMQ
yang的博客
05-23 697
RocketMQ是一个低延时、高可靠、可伸缩、易于使用的分布式消息中间件，是由阿里巴巴开源捐献给Apache的顶级项目。RocketMQ具有高吞吐、低延迟、海量消息堆积等优点，同时提供顺序消息、事务消息、定时消息、消息重试于追踪等功能，非常适合在电商、金融等领域使用。
RocketMQ - 基于延迟消息机制优化大量订单的定时退款扫描问题！
yang的博客
03-12 545
我们先考虑一个正常的电商购物流程，一般来说我们作为用户在一个点上APP上都会选择一些商品加入购物车，然后对购物车里选择的一些商品统一下一个订单，此时后台的订单系统必然会在订单数据库中创建一个订单。 但是我们下了一个订单之后，虽然订单数据库里会有一个订单，订单的状态却是"待支付"状态，因为此时你还没有支付这个订单，我们的订单系统其实也在等待订单用户完成这个订单的支付。 这里就有两种可能了，一种是用户下单之后立马就支付掉了，那么接着订单系统可以走后续的流程，比如通过MQ发送消息通知优惠券系统给用户发放优惠券
RocketMQ - Broker的注册及心跳检测
yang的博客
03-18 537
首先我们看一下Broker中的发送注册请求给NameServer的一个源码入口，其实就是在BrokerController.start()方法中，在BrokerController启动的时候，他其实并不是仅仅发送一次注册请求，而是启动了一个定时任务，会每隔一段时间就发送一次注册请求。上面这块代码，其实是启动了一个定时调度的任务，他默认是每隔30s就会执行一次Broker注册的过程，上面的registerNameServerPeriod是一个配置，他默认的值就是30s一次。
RocketMQ - 发送消息零丢失方案：RocketMQ事务消息的实现流程分析
yang的博客
03-06 453
RocketMQ有一个非常强悍有力得到功能，就是事务消息，凭借这个事务级的消息机制，就可以让我们保证生产者推送出去的消息一定会成功写入MQ里，绝不会半路就搞丢了。首先以一个订单系统为例，假设他收到了一个订单支付成功的通知之后，他必然是需要在自己的订单数据库里做一些增删改查操作的，比如更新订单状态之类的。可能你会觉得，订单系统不就是先在自己的数据库做一些操作，然后直接发个消息到MQ去，让其他订阅这个Topic的系统去从MQ获取消息做对应的处理就可以了吗？其实还真不是这么简单，在基于RocketMQ的事务消息机
RocketMQ - RocketMQ的架构原理和使用方法
yang的博客
02-26 449
然后对于业务系统而言，如果要发送消息到Broker，会找NameServer去获取路由信息，就是集群里有哪些Broker等信息，如果系统要从Broker获取信息，也会找NameServer获取路由，去找到对应的Broker获取消息。既然如此，MQ就得存储大量的消息，可能是几百万条，可能是几亿条，甚至是万亿条，这么多的消息在一台机器上肯定是没有办法存储的，那么RocketMQ是如何分布式存储海量消息的呢？对于系统来说，要发送消息到MQ里去，还要从MQ里消费消息，那么怎么知道有哪些Broker？
RocketMQ - 发送消息时Producer是如何选择MessageQueue去发送的？
yang的博客
03-18 373
Producer发送消息的时候，其实会先检查一下要发送消息的Topic的路由数据是否在本地缓存，如果不在的话，就会通过底层的Netty网络通信模块去发送一个请求到NameServer去拉取Topic路由数据，然后缓存在Producer的本地。之前介绍过，发送消息的核心源码是在DefaultMQProducerImpl.sendDefaultImpl()方法中的，在这个方法里，只要你获取到了Topic的路由数据，不管从本地缓存获取的，还是从NameServer拉取到的，接着就会执行下面的核心代码。
RocketMQ - 一个消费组中的多个Consumer是如何均匀分配消息队列的？
最新发布
yang的博客
03-21 356
此时重平衡组件一旦知道了消费组内有哪些Consumer之后，接着就好办了，无非就是把Topic下的MessageQueue均匀的分配给这些Consumer了，这个时候其实有几种算法可以进行分配，但是比较常用的一种算法就是简单的平均分配。总之，一切都是平均分配的，尽量保证每个Consumer的负载是差不多的。实际上，每个Consumer在启动之后，都会干一件事情，就是向所有的Broker进行注册，并且持续保持自己的心跳，让每个Broker都能感知到一个消费组内有哪些Consumer。
RocketMQ - 如何在本地IDEA中启动及调试RocketMQ？
yang的博客
03-15 299
接着我们来修改一下RocketMQ自带的Producer示例程序，把RocketMQ nameserver的地址修改成我们自己的地址，接着我们执行运行上面的程序就可以了，他会发送1条消息到Broker里去，我们观察一下控制台的日志打印，可以看到下面的内容，就说明我们已经成功的把消息发送到Broker里去了。而我们要配置的是Environment Variables，就是环境变量，我们在上图中找到这个东西，他右边有一个按钮，大家可以点击一下，就会进入到一个添加环境变量的界面中去，大家看下面的图示。
RocketMQ - Consumer消息零丢失方案：手动提交offset + 自动故障转移
yang的博客
03-07 239
假设下游消费者系统已经获取了消息，但是消息目前还在他的内存里，还没有执行业务逻辑，此时他就直接提交了这条消息的offset到broker去说自己已经处理过了，然后这个时候下游消费者系统突然就宕机了，内存里的消息没有了，业务逻辑也没有执行，结果broker已经收到他提交的消息offset了，还以为他已经处理完这个消息了。所以在这个情况下，如果你对一批消息处理完毕了，然后再提交消息的offset给broker，接着消费者系统宕机了，此时是不会丢失消息的。
RocketMQ - 当Broker上的数据存储超过一定时间之后，磁盘数据是如何清理的？
yang的博客
03-20 189
然后如果是那种比较旧的、比如超过72小时的文件，就会被删除掉，也就是说，默认来说，broker只会给你把数据保留3天而已，当然你也可以自己通过fileReservedTime来配置这个时间，要保留几天的时间。在清理文件的时候，他会具体判断一下，如果当前时间是预先设置的凌晨4点，就会触发删除文件的逻辑，这个时间是默认的；在删除文件的时候，无非就是对文件进行遍历，如果一个文件超过72小时都没修改过了，此时就可以删除了，哪怕有的消息你可能还没消费过，但是此时也不会再让你消费了，就直接删除掉。
RocketMQ - RocketMQ是如何实现同步刷盘以及异步刷盘两种策略的？
yang的博客
03-20 178
上面代码我们就看的很清晰了，其实他里面是根据你配置的两种不同的刷盘策略分别处理的，我们先看第一种，就是同步刷盘的策略是如何处理的。FlushCommitLogService其实是一个线程，他是个抽象父类，他的子类是CommitRealTimeService，所以真正唤醒的是他的子类代表的线程。比如是同步刷盘还是异步刷盘，如果是同步刷盘，那么此时就会直接把内存里的数据写入磁盘文件，如果是异步刷盘，那么就是过一段时间之后，再把数据刷入磁盘文件里去。那么今天我们来看看底层到底是如何执行不同的刷盘策略的。
RocketMQ - 消费者到底是根据什么策略从Master或Slave上拉取消息的？
yang的博客
03-05 167
消费消息，可以从Master Broker拉取，也可以从Slave Broker拉取，那到底什么时候从Master Broker拉取，什么时候从Slave Broker拉取？之前有提到刚开始消费者都是从Master Broker机器上去拉取消息的，然后如果Master Broker机器觉得自己负载比较高，就会告诉消费者机器，下次可以从Slave Broker机器去拉取。
RocketMQ - 深入研究一下Broker是如何持久化存储消息的
yang的博客
03-04 163
然后呢，当你的Broker收到一条消息写入了CommitLog之后，其实他同时会将这条消息在CommitLog中的物理位置，也就是一个文件偏移量，就是一个offset，写入到这条消息所属的MessageQueue对应的ConsumeQueue文件中去。另外，数据写入CommitLog文件的时候，其实不是直接写入底层的物理磁盘文件的，而是先进入OS的PageCache内存缓存中，然后后续由OS的后台线程选一个时间，异步化的将OS PageCache内存缓冲中的数据刷入底层的磁盘文件。
rocketmq pushconsumer
07-28
\[3\]不过，无论是push模式还是pull模式，实际上都是采用消费端主动拉取的方式，即consumer轮询从broker拉取消息。\[3\]在PushConsumer中，轮询过程被封装在内部，并通过注册MessageListener监听器来消费消息。当...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无法无天过路客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值