RocketMq 集群模式下不同组、队列、标签下的负载均衡情况

最新推荐文章于 2024-04-23 20:31:16 发布
最新推荐文章于 2024-04-23 20:31:16 发布
阅读量1k 收藏
点赞数
分类专栏： 消息中间件 文章标签： rocketmq topic group
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q610376681/article/details/114655264
版权

前言：目前rocketmq的配置如下所示，突然发现当在本地调试程序时，有多个机器会订阅同一个组（一个生产、其余本地测试环境），感觉这样应该会有负载均衡，所以会导致生产环境上的rocketMq收不到消息，所以我决定先测试一下到底什么情况会负载均衡，其实就是什么情况消息会发送到两个机器上，然后再调整一下配置（有一些无关的注释请忽略，项目中的懒得删了）。

# 人脸识别生产者的组名
rocketmq.faceProducerGroup=face-producer-group
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=face-consumer-group
# 人脸识别队列
rocketmq.face-topic=faceRecognitionTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=user-tag

172.20.13.15是生产环境，其余两个是测试环境。

目录

第一章  测试背景

1.1 原理

1.2 配置

第二章 实践

2.1 group一样，topic一样，tag一样

2.2 group一样，topic不一样，tag一样

2.3 group一样，topic一样，tag不一样

第三章 配置覆盖

第四章 总结

 

第一章  测试背景

1.1 原理

这里采用集群模式(cluster)，感觉影响负载均衡的主要是三个，group，topic，tag，这里会用控制变量法进行测试，分别测试

三个都一样，负载均衡情况。

group一样，topic不一样，tag一样，负载均衡情况。

group一样，topic一样，tag不一样，负载均衡情况。

1.2 配置

启动了两个消费者，一个生产者，都在一个机器上，两个消费者端口分别是8081，8082，生产者端口8080

第二章 实践

2.1 group一样，topic一样，tag一样

从生产者发送30条数据，两个消费者对半分，证明两个消费者在三个都一样情况下会负载均衡。

配置：

生产者：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8080

消费者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8081

消费者2： 

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8082

2.2 group一样，topic不一样，tag一样

从生产者发送30条数据，只有一个消费者能接收到数据，证明topic不一样也会负载均衡，是否负载均衡和topic没关系。

生产者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8080

消费者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8081

消费者2：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic2
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8082

2.3 group一样，topic一样，tag不一样

相信应该也能猜到了，只有一个消费者能接收到数据，证明tag不一样也会负载均衡，是否负载均衡和tag没关系。

生产者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag1
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8080

消费者1：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag1
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8081

消费者2：

#RocketMQ
# 人脸识别生产者的组名
rocketmq.faceProducerGroup=test-group-zhang
# 人脸识别消费者组名
rocketmq.faceConsumerGroup=test-group-zhang
# 人脸识别队列
rocketmq.face-topic=testTopic1
# 人脸识别队列标签
rocketmq.face-topic-tag=testTopicTag2
# NameServer地址
rocketmq.namesrvaddr=172.31.44.112:9876;172.31.44.113:9876

server.port=8082

第三章 配置覆盖

感觉挺重要的，第一次发现这种问题

在测试的时候发现一个奇怪的事情，当两个机器订阅了一个组，后启动的机器的tag会覆盖前一个机器的，topic则不会。

如我先启动机器一，机器一的topic是testTopic1，再启动机器二，第二个机器的topic是testTopic2，生产者在发送消息时指定topic为testTopic1，这样机器一还是可以收到负载均衡后的消息。

如两个机器topic都是testTopic1，我先启动机器一，机器一的tag是testTopicTag1，再启动机器二，第二个机器的tag是testTopicTag2，当第二个机器启动的时候，即使生产者在发送消息时指定tag为testTopicTag1，机器一也不会接收到消息，具体状态如下图所示。

机器一启动时的状态：

机器一能正常接收topic是testTopic1的消息 

启动机器二：

 可以看到tag被覆盖为testTopicTag2，此时生产者再向testTopicTag1发送消息，机器一接收不到消息，当然因为机器二接收的是testTopicTag2的消息，所以机器二也没消息，生产者将tag变为testTopicTag2，机器二能接收到消息，机器一仍不能。

第四章 总结

在cluster模式下是否负载均衡看来只和订阅该组的机器个数有关系，每次把消息均分到订阅该组的每个机器中，跟topic，tag都无关，所以针对某个组需要负载均衡的话，负载均衡机器的topic、tag最好弄成一样的，那么问题来了，如果想组内某个topic负载均衡，某个topic不负载均衡，这样感觉用rocektmq应该是没办法实现的（本人目前的浅显理解是这样），不过感觉好像这样意义也不大。

 

 

 

 

 

 

 

逆袭的小学生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rocketmq-all-5.1.1-bin-release.zip
06-06
- **Group**：消费者组，同一组内的Consumer会进行负载均衡，保证消息被消费一次且仅一次。 5. **高级特性**： - **事务消息**：RocketMQ支持分布式事务，保证消息的最终一致性。 - **消息回溯**：消费者可以...
源码分析RocketMQ之Producer
liangshf520的博客
06-12 1164
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基
rocketmq Topic 与 Tag 最佳实践
极客on之路
12-12 3330
在消息队列 RocketMQ 版中，Topic 与 Tag 都是业务上用来归类的标识，区分在于 Topic 是一级分类，而 Tag 可以理解为是二级分类。您可通过本文了解如何搭配使用 Topic 和 Tag 来实现消息过滤。 背景信息 Topic 和 Tag 的定义如下： Topic 消息主题，通过 Topic 对不同的业务消息进行分类。 Tag 消息标签，用来进一步区分某个 Topi...
RocketMQ快速入门：group、topic、queue、tag等基本概念（四）
最新发布
55555的博客
04-23 1740
上一节，我们说明了rocketmq中的4个核心组成以及他们之间的工作关系。但其中穿插的topic, queue等概念，如果未接触过mq的同学可能会有些迷糊，所以本节，我们重点针对rocketmq中的基本概念进行讲解，之前学习过其他mq的同学也能够形成对比。
消息中间件—RocketMQ（一）基础
jiayibingdong的博客
03-09 1273
一、RocketMQ原理 RocketMQ是阿里参照Kafka的原理来进行设计的一款消息中间件，因此它和Kafka很多的原理都是相通的。 1、存储对比 在RocketMQ中，一样采用了topic和类似partition来缓解broker的压力，同样有master节点和slave节点，其中master节点负责读写，slave节点负责备份。但有一点特殊，在master节点读取缓慢时，可允许一个指定的slave来帮助进行读写。 但是不同于partition，RocketMQ有一个特殊的分片机制，叫做Message
RocketMq01_概述及背景、主题、标签、队列、生产者、消费者、注册中心、工作流程
所得皆惊喜
12-09 1296
RocketMq01_概述及背景、主题、标签、队列、生产者、消费者、注册中心、工作流程
RocketMQ之Group、Topic、Tag之间的关系及订阅关系一致
weixin_43864292的博客
09-01 1万+
本文简要的介绍了三者之间的关系及订阅关系一致性问题。
RocketMQ 4.5.2源码
01-22
- **订阅组**: 同一订阅组内的消费者会共享消息，实现负载均衡。通过源码，我们可以理解订阅组的注册、消费分配等机制。 3. **Nameserver**: - **角色**: Nameserver作为服务注册与发现的中心，存储Producer、...
RocketMQ核心概念1
08-03
消费者组是消费者实例的集合，用于实现负载均衡和容错。同一消费者组的实例订阅的主题必须相同。 **主题**是消息的分类，生产者发送消息和消费者订阅消息的依据。主题与生产者和消费者之间是松散耦合的，一个主题...
rocketmq-all-4.6.0-bin-release
10-25
5. **Console**：RocketMQ Console是一个基于Web的管理界面，用于监控RocketMQ集群的状态，查看和管理Topic、消费者组、消息队列等信息，以及进行消息查询和发送测试等操作。 6. **安装与配置**：在部署RocketMQ时...
RocketMQ高级原理：深入剖析消息系统的核心机制
12-22
Consumer组内实例消费逻辑一致，集群消费模式下消息均匀分摊，广播消费模式下所有实例接收全部消息。 4. 主题（Topic） Topic是消息的分类，每个Topic包含多条消息，消息只能属于一个Topic。MessageQueue是Topic的...
消息队列（5）：RocketMQ
zhangsir的博客
11-19 7342
介绍 RocketMQ是一款成熟的分布式消息中间件。 由阿里2012年开源，2017年成为Apache顶级项目。 源码是java写的。 高性能，低延迟，高可靠。历经多次双十一大促，整体很稳定。 核心四大组件 NameService，Broker，Producer，Consumer 每个组件可以部署成集群模式水平扩展。 Producer负责发消息，有3种发送方式 1.同步发送：重要场景，发一条要等...
MQ与RocketMQ入门
lucky的专栏
12-19 818
消息队列扫盲 消息队列顾名思义就是存放消息的队列，队列我就不解释了，别告诉我你连队列都不知道似啥吧？ 所以问题并不是消息队列是什么，而是消息队列为什么会出现？消息队列能用来干什么？用它来干这些事会带来什么好处？消息队列会带来副作用吗？ 消息队列为什么会出现？ 消息队列算是作为后端程序员的一个必备技能吧，因为分布式应用必定涉及到各个系统之间的通信问题，这个时候消息队列也应运而生了。可以说分...
【rocketmq-client-python】集群模型配置
qq_15821487的博客
11-09 619
设置ip:port的位置：producer.set_namesrv_addr(‘xxx.xxx.xxx.xxx:xxxxx’) 当只有单一服务器时，格式是上面这个； 当有多个服务器地址（集群模式）时，可以使用：producer.set_namesrv_addr(“xxx.xxx.xxx.xxx:xxxxx,xxx.xxx.xxx.xxx:xxxxx”) 如果使用pandas数据，pandas数据可以直接转换 ...
rocketmq原理解析
修理男爵的博客
09-08 3050
rocketmq rocketmq和kafka对比 基本角色
RocketMQ之Topic和Tag最佳实践
qq_53281187的博客
04-09 1238
RocketMQ的主题用于对消息进行分类和组织。通过为不同类型的消息分配不同的主题，可以使消息更具可读性和可管理性。每个主题都有自己的消息队列，用于存储该主题下的消息。每个队列都可以并行地接收和处理消息，从而实现高吞吐量和负载均衡。生产者在发送消息时指定目标主题，消费者则通过订阅感兴趣的主题来接收对应的消息。RocketMQ根据主题将消息路由到相应的队列上，然后再由消费者消费。
RocketMQ消费者和队列对应关系
11-01 424
（一个消费组consumer group里，一个消费者应用可以消费多个队列的消息。一个队列的消息只能被一个消费者应用消费。消费者应用和topic队列一对多的关系。消费者和Broker直接对应。
rocketMQ中，消费者、消费者组、Topic、队列的关系
yuanchangliang的博客
07-28 2万+
初学roketMQ的同学可能会比较难以理解这四者之间的关系，这里我来理一下。 1、消费者和消费者属于个体与群体的关系，非常容易理解，不赘述 2、Topic是相当于一种消息类型，而队列queue则是属于某个Topic下的更细分的一种单元。举个例子。Topic代表老虎，是一种动物类型，而队列就相当于东北虎，是对老虎的更详细描述。 3、在同一个消费者组下的消费者，不能同时消费同一个queue。 4、一个消费者组下的消费者，可以同时消费同一个Topic下的不同队列的消息。 5、不同消费者组下的消费者，可以同时.
rocketmq问题汇总-一个consumerGroup只对应一个topic
热门推荐
MQCloud的专栏
02-14 9万+
1 同一个订阅组内不同Consumer实例订阅不同topic消费混乱问题调查 图1： 背景说明： 如图1左半部分，假设目前的关系如下： broker： 两个，broker_a和broker_b topic：两个，topic1和topic2，每个topic在每个broker上分为4个queue consumer：两个，consumer1和consumer2
Keepalived + LVS 集群负载均衡配置详解
本文将详细介绍如何在RedHat 6.5环境下，利用Keepalived和LVS-DR（Direct Routing）模式配置高可用负载均衡集群。 Keepalived是一个基于VRRP（Virtual Router Redundancy Protocol）协议的软件，其主要功能是监控和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值