rocketMq-consumer介绍

最新推荐文章于 2024-07-22 16:58:53 发布
最新推荐文章于 2024-07-22 16:58:53 发布
阅读量238 收藏
点赞数
原文链接：https://yq.aliyun.com/articles/666468
版权

说到rocketMq的consumer，该篇文章特指pushConsumer，pullConsumer在后续文章中在分享。

提到consumer，需要搞清楚几个核心问题，分别是consumer的初始化过程做了哪些事情，消息是如何消费，consumer如何动态平衡的，整个逻辑还是比较绕的，其中这章节主要会讲清楚两个事情，1、初始化过程中client做了哪些事情；2、consumer如何动态平衡拉取任务，具体的任务消费会由额外的一章进行讲解。


consumer的初始化过程

img_ac2a8284cc77aaf8d7822c669904675c.png
consumer初始化过程

说明：整体执行过程如下，着重介绍subscribe和start两个过程

    1、创建consumer并设置消费分组

    2、设置消费位移

    3、设置订阅topic

    4、设置消费执行的回调函数

    5、启动consumer


consumer的初始化流程图


img_2039554580e787c1dd5186ace4fa5e46.png
初始化流程图


consumer内部初始化过程

说明：整个初始化比较复杂，为了大家能够理解，先用简单的语句概述一遍

    1、构建consumer的订阅信息，包括consumer本身的订阅和消费分组的重试队列。

    2、创建Rebalance服务，该服务每隔20s进行消费端负责的messageQueue的消费。

    3、启动消费偏移量获取服务，获取上一次消费位移。

    4、启动定时任务，其中核心任务之一是定时去namesrv拉取broker信息。

    5、启动pullMessageService，负责从broker拉取待消费消息

    6、启动rebalanceService，负责定期调整consumer端负载均衡包括第一次触发拉取任务

    7、其中rebalanceService和pullMessageService相互配合使用，前者负责将新加入messageQueue拉取任务加入到pullMessageservice当中，将旧的messageQueue的拉取任务从pullMessageService中停止，两者之间通过消息队列的形式进行通信。


构建subscription过程
img_19af04289dd875165b3e4ad0b534ca14.png
构建subscribe信息

说明：参见DefaultMQPushConsumerImpl类

    1、订阅消息最后保存至RebalanceImpl当中，因为这个是后面动态负载均衡的核心。


client端启动过程
img_d5beaaed41bdcfdfbabe384fd975b14d.png
consumer启动过程-注册订阅消息过程

说明：参见DefaultMQPushConsumerImpl类


img_8846910e7c95992fd53946e76b04bc79.png
consumer启动过程-注册回调函数并启动一系列服务

说明：参见DefaultMQPushConsumerImpl类

    1、启动了获取消费进度的服务


img_be0046a85735d2a0708f5585ff3f64d0.png
consumer核心逻辑-启动核心消费逻辑

说明：参见MQClientInstance类

    1、启动定时任务，主要是从namsrv中拉取broker的信息

    2、启动client从broker拉取消息的服务

    3、启动Rebalance服务，负责触发消息拉取的任务

    4、步骤3和步骤4之间的两个服务通过消息队列通信


img_bec507ebe9802b85b16814da0e462122.png
定时拉取broker信息

说明：参见MQClientInstance类

    1、负责从namesrv拉取broker的信息


拉取任务的执行过程
img_cebec6930a29f81e9f8f6f510bfd74c0.png
定时获取拉取任务执行消息拉取

说明：参见PullMessageService类

    1、负责从pullRequestQueue中获取拉取任务并执行，该任务由Rebalance服务投递


拉取任务的生成过程
img_70731a0516bc9c2707b5814da13224e3.png
定期动态消费负载均衡

说明：参见RebalanceService类

    1、consumer端负载均衡的入口


img_39d3c19291b99a4aafd9c7b0bc3cf760.png
针对每个consumer动态调整负载均衡

说明：参见MQClientInstance类

    1、每个consumer客户端只会有一个对象，所以这里for循环只有一次。


img_c531c1085d610c866c47a598e6b98d1a.png
针对每个topic进行负载均衡

说明：参见MQClientInstance类

1、针对每个订阅信息都进行动态负责均衡，包括consumer本身的订阅分组和consumerGroup的重试分组。


img_7035c06265e817c429cab88ab5052c76.png
针对topic下的messageQueue和consumer进行动态负载均衡

说明：参见RebalanceImpl类

    1、动态负载均衡就是一个topic下所有的messageQueue和消费分组里面的消费者按照一定的动态调整策略进行分配，同一个消费分组里面的消费者每人负责一部分的messageQueue。


img_e1ed7d9ed9023dc8b1b108f149598eed.png
动态调整拉取任务

说明：参见RebalanceImpl类

    1、consumer新负责的messageQueue加入到拉取任务当中来

        2、consumer不负责的messageQueue从拉取任务中剔除。



img_3a300c6abf2efcd5c569d189ae3fc26f.png
新增消息拉取任务

说明：参见PullMessageService类

img_e1553253db21ea08a7eba05a9bdddfcc.png
投递待拉取消息任务

说明：参见PullMessageService类


订阅重试队列逻辑
img_8a8bb3f3a6f40405e6dc39cd68e77bd8.png
注册%retry%@consumerGroup消费分组

说明：

    核心代码逻辑，这个表明了consumer订阅了重试队列并对重试队列进行消费。

weixin_34082177
关注
详解RocketMQ中的consumer
关于代码的那些事
07-26 1283
RocketMQ的Consumer创建启动流程 (1) Push和Pull这两种方式，本质都是Pull实现的，所以DefaultMQPullConsumerImpl的start方法启动 (2) 配置通知方式：广播/集群 (3) 配置消息队列分配策略：默认都是平均，此外还有循环平均、配置分配等。 (4) 根据Topic创建这个消费者对应的SubscriptionData，包括：TAG。 (5) DefaultMQPullConsumerImpl里面的rebalanceImpl将会把topic和Subscrip
rocketmq管理工具,项目之前名字rocketmq-console后来项目独立并更名为rocketmq-dashboard
03-14
- **元数据展示**: 显示RocketMQ集群的元数据信息，如Broker列表、Topic列表、Consumer Group列表等。 2. **RocketMQ Dashboard的技术架构**： - 前端：基于React.js构建的用户界面，提供丰富的图表和交互操作。 ...
RocketMQ源码分析（四）Consumer
YHJ
05-24 1116
1.5 Consumer 1.5.1 消息消费概述 消息消费以组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组之间有集群式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式，是消费端主动拉起拉消息请求，而推模式是消息达到消息服务器后，推送给消息消费者。RocketMQ消息推模式的实现基于拉模式，在拉模式上包
arm64环境部署rocketmq
最新发布
qq_54738879的博客
07-22 860
arm环境部署rocketmq。如果arm机器没有办法拉取镜像，那就找一台x86的机器也可以拉取arm镜像。如果arm服务器可以拉取外网镜像，那就直接拉取。进入image-build目录。注：IP改成你自己的服务器IP。修改arm环境支持的基础镜像。有一条测试topic，点击。，随便填写,点击提交，出现。
RocketMQ Consumer
qq_18950983的博客
11-21 197
MQS，消费者，文档阅读
rocketmq consumer
changjh1的博客
06-13 867
1: consumer会每30s从nameserver上更新所订阅的topic路由列表,同时会更新broker路由->brokerName与角色和地址关系 2: consumer会每30s与所有broker进行一次心跳,将clientid,topic,group发送至broker rebalance开始: consumer会每10s进行一次rebalance 1 首先选择一个broker,根据topic和group查询到订阅此topic的属于同一group的所有的consumer clientid..
RocketMQ详解(10)——Consumer详解
热门推荐
weixin_34452850的博客
09-15 1万+
RocketMQ详解(10)——消费模式详解 一. 不同类型的消费者 根据使用者对读取操作的控制情况，消费在可以分为两种类型： DefaultMQPushConsumer：有系统控制读取操作，收到消息后自动调用监听器回调处理。 DefaultMQPullConsumer：读取操作中的大部分功能由使用者自主控制。 二. DefaultMQPushConsumer的使用 使用D...
rocketmq-all-5.1.1-bin-release.zip
06-06
- 创建Producer和Consumer，编写Java代码或使用命令行工具与RocketMQ交互。 4. **关键概念**： - **Topic**：消息的主题，可以理解为消息的分类，多个Consumer可以订阅同一个Topic。 - **Queue**：队列，每个...
rocketmq-all-5.1.4-bin-release.zip
10-21
RocketMQ是中国阿里巴巴集团开源的一款高性能、高可用、稳定且易扩展的消息中间件，它在分布式系统和微服务架构中扮演着关键角色。RocketMQ源于阿里巴巴内部的项目，后来成为Apache顶级项目，为全球开发者提供了强大...
rocketmq-all-5.2.0-bin-release.7z
03-07
在部署过程中，通常需要设置环境变量，配置NameServer、Broker、Producer和Consumer等组件，并根据实际需求调整相关参数，以达到最佳性能和稳定性。 总之，RocketMQ是构建大型分布式系统不可或缺的组件，其强大的...
rocketmq-5.1.3.zip
08-17
9. **性能调优**：优化RocketMQ的性能涉及多个方面，如调整Broker的存储策略、控制Consumer的拉取频率、合理设置消息队列数量等。 10. **安全与权限控制**：RocketMQ 5.1.3可能增强了安全性，例如添加了用户认证和...
rocketmq_4.7.1-1_arm64.deb UOS+鲲鹏平台
12-16
1、rocketmq_4.7.1-1_arm64.deb 2、软件目录 /opt/rocketmq-4.7.1/ 3、自带jdk，无需系统环境 4、自带服务启动systemctl
rocketmq_4.7.1-1_arm64.deb银河麒麟V4+飞腾 deb安装包
10-31
1、rocketmq-4.7.1银河麒麟V4+飞腾 deb安装包 2、内置jdk 1.8 3、目录信息 /opt/rocketmq-4.7.1/ ├── benchmark ├── bin ├── conf ├── jdk ├── lib ├── LICENSE ├── NOTICE └── README.md
rocketmq中consumer设计与实现
多看多听多总结
11-16 583
1、类层次图
RocketMQ Consumer消息消费过程（一）、queue均衡
LZJLZJLZJLZJLZJLZJ的专栏
01-16 1451
目录说明均衡过程queue均衡入口均衡过程均衡规则： 说明 关于RocketMQ Consumer消费消息的过程，内容较多，为了能将消费过程中涉及的关键技术讲全、讲明白，所以这一部分，根据消费过程的主要处理内容，我将分三个小部分进行： 1、queue的均衡：针对topic的queue，如何分配给不同的Consumer进行消费，分配的算法有哪些。 2、消息的拉取：拉取消息的过程及消息处理。 3、消息的消费：对拉取到的消息推送给Consumer处理。 这一节，我们先学习queue的均衡流程。 均衡过程 为了让大
RocketMQ-Consumer源码分析&问题刨析&消费模型
weixin_36114346的博客
07-14 386
RocketMq 、Consumer、消费
RocketMQ-长文详解Consumer启动、消息消费、MessageQueue重平衡
ALONG的博客
03-23 2580
Consumer作为RocketMQ消息消费的终端，了解Consumer对使用RocketMQ有很大的帮助。 以上为Consumer配置和启动的代码，RocketMQ把复杂的逻辑都封装在底层，使用层面代码量不多。先看看都执行了什么。最简单的构造函数，实例化、、（消息队列分配策略，后面重平衡再介绍），（Push方式消费核心类）。 使用类进行实例化。 核心逻辑还是由执行。 ： 1.5 MQClientManager#getOrCreateMQClientInstance 1.6 ConsumeMessageC
RocketMQ笔记Consumer消费者订阅
woailuo23的博客
10-28 2076
1 集群订阅(MessageModel.CLUSTERING)：同一个 Consumer ID 所标识的所有 Consumer 平均分摊消费消息。 例如某个 Topic 有 9 条消息，一个 Consumer ID 有 3 个 Consumer 实例，那么在集群消费模式下每个实例平均分摊，只消费其中的 3 条消息。 代码： private DefaultMQPushConsumer co...
RocketMQ消息拉取consumer端实现
tousdi的博客
05-08 649
在Apache RocketMQ中，消费者（Consumer）通过拉取（Pull）或推送（Push）模式来获取消息。但是在传统Push模式下可能会造成consumer端压力过大或处理不过来的场景，所以在RocketMQ统一采取手动Pull模式。
rocketmq-console acl
09-05
RocketMQ-Console ACL（Access Control List）是RocketMQ控制台中的一种权限控制机制。它用于限制用户的访问权限，确保只有被授权的用户能够使用RocketMQ控制台进行相关操作。 使用RocketMQ-Console ACL可以实现对用户的多种权限控制，包括读取、写入、管理等操作。具体来说，对于一个用户，可以通过配置ACL来指定其可以读取、写入或管理的Topic以及相关的Consumer Group。同时，也可以为用户设置登录密码，确保只有授权的用户能够登录。 ACL的配置可以通过在Broker的配置文件中进行设置，也可以通过通过RocketMQ-Console进行管理。通过RocketMQ-Console ACL管理界面，可以为用户指定对应的Topic和Consumer Group的权限，并设置登录密码。此外，还可以查询和编辑已有的ACL规则，以满足不同用户的需求。 使用RocketMQ-Console ACL可以提高RocketMQ的安全性。只有被授权的用户可以访问和操作相关的Topic和Consumer Group，确保数据的安全性和完整性。同时，RocketMQ-Console ACL也极大地方便了运维人员对不同用户权限的管理与控制，提高了运维效率。 总之，RocketMQ-Console ACL是一种重要的权限控制机制，可以实现对RocketMQ的访问权限进行细粒度的控制，提高了RocketMQ的安全性和可管理性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值