RocketMq 集群模式下不同组、队列、标签下的负载均衡情况

最新推荐文章于 2024-04-23 20:31:16 发布
最新推荐文章于 2024-04-23 20:31:16 发布
阅读量1k 收藏
点赞数
分类专栏： 消息中间件 文章标签： rocketmq topic group
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q610376681/article/details/114655264
版权

前言：目前rocketmq的配置如下所示，突然发现当在本地调试程序时，有多个机器会订阅同一个组（一个生产、其余本地测试环境），感觉这样应该会有负载均衡，所以会导致生产环境上的rocketMq收不到消息，所以我决定先测试一下到底什么情况会负载均衡，其实就是什么情况消息会发送到两个机器上，然后再调整一下配置（有一些无关的注释请忽略，项目中的懒得删了）。

# 人脸识别生产者的组名
rocketmq.faceProducerGroup=face-producer-group
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=face-consumer-group
# 人脸识别队列
rocketmq.face-topic=faceRecognitionTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=user-tag

172.20.13.15是生产环境，其余两个是测试环境。

目录

第一章  测试背景

1.1 原理

1.2 配置

第二章 实践

2.1 group一样，topic一样，tag一样

2.2 group一样，topic不一样，tag一样

2.3 group一样，topic一样，tag不一样

第三章 配置覆盖

第四章 总结

 

第一章  测试背景

1.1 原理

这里采用集群模式(cluster)，感觉影响负载均衡的主要是三个，group，topic，tag，这里会用控制变量法进行测试，分别测试

三个都一样，负载均衡情况。

group一样，topic不一样，tag一样，负载均衡情况。

group一样，topic一样，tag不一样，负载均衡情况。

1.2 配置

启动了两个消费者，一个生产者，都在一个机器上，两个消费者端口分别是8081，8082，生产者端口8080

第二章 实践

2.1 group一样，topic一样，tag一样

从生产者发送30条数据，两个消费者对半分，证明两个消费者在三个都一样情况下会负载均衡。

配置：

生产者：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8080

消费者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8081

消费者2： 

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8082

2.2 group一样，topic不一样，tag一样

从生产者发送30条数据，只有一个消费者能接收到数据，证明topic不一样也会负载均衡，是否负载均衡和topic没关系。

生产者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8080

消费者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8081

消费者2：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic2
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8082

2.3 group一样，topic一样，tag不一样

相信应该也能猜到了，只有一个消费者能接收到数据，证明tag不一样也会负载均衡，是否负载均衡和tag没关系。

生产者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag1
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8080

消费者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag1
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8081

消费者2：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag2
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8082

第三章 配置覆盖

感觉挺重要的，第一次发现这种问题

在测试的时候发现一个奇怪的事情，当两个机器订阅了一个组，后启动的机器的tag会覆盖前一个机器的，topic则不会。

如我先启动机器一，机器一的topic是testTopic1，再启动机器二，第二个机器的topic是testTopic2，生产者在发送消息时指定topic为testTopic1，这样机器一还是可以收到负载均衡后的消息。

如两个机器topic都是testTopic1，我先启动机器一，机器一的tag是testTopicTag1，再启动机器二，第二个机器的tag是testTopicTag2，当第二个机器启动的时候，即使生产者在发送消息时指定tag为testTopicTag1，机器一也不会接收到消息，具体状态如下图所示。

机器一启动时的状态：

机器一能正常接收topic是testTopic1的消息 

启动机器二：

 可以看到tag被覆盖为testTopicTag2，此时生产者再向testTopicTag1发送消息，机器一接收不到消息，当然因为机器二接收的是testTopicTag2的消息，所以机器二也没消息，生产者将tag变为testTopicTag2，机器二能接收到消息，机器一仍不能。

第四章 总结

在cluster模式下是否负载均衡看来只和订阅该组的机器个数有关系，每次把消息均分到订阅该组的每个机器中，跟topic，tag都无关，所以针对某个组需要负载均衡的话，负载均衡机器的topic、tag最好弄成一样的，那么问题来了，如果想组内某个topic负载均衡，某个topic不负载均衡，这样感觉用rocektmq应该是没办法实现的（本人目前的浅显理解是这样），不过感觉好像这样意义也不大。

 

 

 

 

 

 

 

逆袭的小学生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rocketMq、相关消息队列概念理解整理
Fishandbearspaw的博客
10-05 726
为什么要用消息队列？ 我理解：首先，消息队列一般都是在微服务、分布式的部署方式下使用的。业务系统之间的消息需要传递，通过消息中间件更加友好。 Java内部有队列了，为什么要要用MQ？ 我的理解：Java内部的队列，当不同的应用的消息进行对接时。需要修改源码。 但是当我们使用消息中间件 解说： JDK中是简单的内存队列 原因： 系统之间实现代码解耦。 限流。消息放在消息队列中，系统有能力去取的时候再进行处理。 消息队列一般不能是单机的 消息队列中的消息，一般要对接多个系统，消息很重要，都是得集群/分布式的。提
rocketmq-all-5.1.1-bin-release.zip
06-06
- **Group**：消费者组，同一组内的Consumer会进行负载均衡，保证消息被消费一次且仅一次。 5. **高级特性**： - **事务消息**：RocketMQ支持分布式事务，保证消息的最终一致性。 - **消息回溯**：消费者可以...
rocketmq Topic 与 Tag 最佳实践
极客on之路
12-12 3330
在消息队列 RocketMQ 版中，Topic 与 Tag 都是业务上用来归类的标识，区分在于 Topic 是一级分类，而 Tag 可以理解为是二级分类。您可通过本文了解如何搭配使用 Topic 和 Tag 来实现消息过滤。 背景信息 Topic 和 Tag 的定义如下： Topic 消息主题，通过 Topic 对不同的业务消息进行分类。 Tag 消息标签，用来进一步区分某个 Topi...
RocketMQ快速入门：group、topic、queue、tag等基本概念（四）
最新发布
55555的博客
04-23 1746
上一节，我们说明了rocketmq中的4个核心组成以及他们之间的工作关系。但其中穿插的topic, queue等概念，如果未接触过mq的同学可能会有些迷糊，所以本节，我们重点针对rocketmq中的基本概念进行讲解，之前学习过其他mq的同学也能够形成对比。
RocketMQ消费者和队列对应关系
11-01 424
（一个消费组consumer group里，一个消费者应用可以消费多个队列的消息。一个队列的消息只能被一个消费者应用消费。消费者应用和topic队列一对多的关系。消费者和Broker直接对应。
消息队列（5）：RocketMQ
zhangsir的博客
11-19 7342
介绍 RocketMQ是一款成熟的分布式消息中间件。 由阿里2012年开源，2017年成为Apache顶级项目。 源码是java写的。 高性能，低延迟，高可靠。历经多次双十一大促，整体很稳定。 核心四大组件 NameService，Broker，Producer，Consumer 每个组件可以部署成集群模式水平扩展。 Producer负责发消息，有3种发送方式 1.同步发送：重要场景，发一条要等...
源码分析RocketMQ之Producer
liangshf520的博客
06-12 1164
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基
RocketMQ 4.5.2源码
01-22
- **订阅组**: 同一订阅组内的消费者会共享消息，实现负载均衡。通过源码，我们可以理解订阅组的注册、消费分配等机制。 3. **Nameserver**: - **角色**: Nameserver作为服务注册与发现的中心，存储Producer、...
RocketMQ核心概念1
08-03
消费者组是消费者实例的集合，用于实现负载均衡和容错。同一消费者组的实例订阅的主题必须相同。 **主题**是消息的分类，生产者发送消息和消费者订阅消息的依据。主题与生产者和消费者之间是松散耦合的，一个主题...
rocketmq-all-4.6.0-bin-release
10-25
5. **Console**：RocketMQ Console是一个基于Web的管理界面，用于监控RocketMQ集群的状态，查看和管理Topic、消费者组、消息队列等信息，以及进行消息查询和发送测试等操作。 6. **安装与配置**：在部署RocketMQ时...
RocketMQ高级原理：深入剖析消息系统的核心机制
12-22
Consumer组内实例消费逻辑一致，集群消费模式下消息均匀分摊，广播消费模式下所有实例接收全部消息。 4. 主题（Topic） Topic是消息的分类，每个Topic包含多条消息，消息只能属于一个Topic。MessageQueue是Topic的...
RocketMq01_概述及背景、主题、标签、队列、生产者、消费者、注册中心、工作流程
所得皆惊喜
12-09 1296
RocketMq01_概述及背景、主题、标签、队列、生产者、消费者、注册中心、工作流程
源码分析RocketMQ消息消费机制----消费端消息负载均衡机制与重新分布
中间件兴趣圈
12-28 5463
1、消息消费需要解决的问题 首先再次重复啰嗦一下 RocketMQ 消息消费的一些基本元素的关系 主题 ---》 消息队列(MessageQueue) 1 对多。 主题 ---》 消息生产者，一般主题会由多个生产者组成，生产者组。 主题 ---》 消息消费者，一般一个主题也会被多个消费者消费。 那消息消费至少需要解决如下问题： 1、一个消费组中多个消费者是如何对消息队列（1个主题...
rocketmq存储结构_RocketMQ消息存储
weixin_39743511的博客
12-19 431
存储架构RMQ存储架构上图即为RocketMQ的消息存储整体架构，RocketMQ采用的是混合型的存储结构，即为Broker单个实例下所有的队列共用一个日志数据文件(即为CommitLog，1G)来存储。Consume Queue相当于kafka中的partition，是一个逻辑队列，存储了这个Queue在CommiLog中的 起始offset，log大小和MessageTag的hashC...
RocketMQ之Topic和Tag最佳实践
qq_53281187的博客
04-09 1244
RocketMQ的主题用于对消息进行分类和组织。通过为不同类型的消息分配不同的主题，可以使消息更具可读性和可管理性。每个主题都有自己的消息队列，用于存储该主题下的消息。每个队列都可以并行地接收和处理消息，从而实现高吞吐量和负载均衡。生产者在发送消息时指定目标主题，消费者则通过订阅感兴趣的主题来接收对应的消息。RocketMQ根据主题将消息路由到相应的队列上，然后再由消费者消费。
RocketMQ之Group、Topic、Tag之间的关系及订阅关系一致
weixin_43864292的博客
09-01 1万+
本文简要的介绍了三者之间的关系及订阅关系一致性问题。
rocketMQ中，消费者、消费者组、Topic、队列的关系
热门推荐
yuanchangliang的博客
07-28 2万+
初学roketMQ的同学可能会比较难以理解这四者之间的关系，这里我来理一下。 1、消费者和消费者属于个体与群体的关系，非常容易理解，不赘述 2、Topic是相当于一种消息类型，而队列queue则是属于某个Topic下的更细分的一种单元。举个例子。Topic代表老虎，是一种动物类型，而队列就相当于东北虎，是对老虎的更详细描述。 3、在同一个消费者组下的消费者，不能同时消费同一个queue。 4、一个消费者组下的消费者，可以同时消费同一个Topic下的不同队列的消息。 5、不同消费者组下的消费者，可以同时.
消息队列，高并发的救火员
毛毛的专栏
10-17 2613
文章目录一、前言二、消息队列三功能2.1 异步通信2.2 服务解耦2.3 流量控制三、消息队列的两种模型3.1 队列模型3.2 发布/订阅模型3.3 小结四、消息队列的三个独有设置4.1 Producer、Broker与Consumer4.2 使用队列或分区提高并发度4.3 消费者组4.4 消费者的offset五、消息队列四个问题5.1 消息丢失问题5.1.1 发送消息阶段如何保证消息不丢失5.1.2 存储消息阶段如何保证消息不丢失5.1.3 消费消息阶段如何保证消息不丢失5.1.4 小结：如何保证消息不丢
RocketMQ详解
m0_48811221的博客
04-01 2928
RocketMQ 简介 如图所示为RocketMQ基本的部署结构，主要分为NameServer集群、Broker集群、Producer集群和Consumer集群四个部分。 大致流程： Broker在启动的时候会去向NameServer注册并且定时发送心跳，Producer在启动的时候会到NameServer上去拉取Topic所属的Broker具体地址，然后向具体的Broker发送消息 为了消除单点故障，增加可靠性或增大吞吐量，可以在多台机器上部署多个nameserver和broker，并且为每个broke

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值