RocketMQ - 发送消息时Producer是如何选择MessageQueue去发送的？

最新推荐文章于 2024-05-21 22:35:54 发布
最新推荐文章于 2024-05-21 22:35:54 发布
阅读量373 收藏
点赞数 13
分类专栏： RocketMQ - 你的消息队列技术引路人 文章标签： rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangbaggio/article/details/136459795
版权
Producer在发送RocketMQ消息时，首先检查Topic的路由数据，若未缓存则从NameServer获取。获取路由数据后，选择MessageQueue进行消息发送。MessageQueue作为Topic的物理存储单位，分布在不同Broker上。选择MessageQueue采用简单的负载均衡算法，通过自增索引对MessageQueue列表取模，实现消息的轮询分发。
摘要由CSDN通过智能技术生成

Producer发送消息的时候，其实会先检查一下要发送消息的Topic的路由数据是否在本地缓存，如果不在的话，就会通过底层的Netty网络通信模块去发送一个请求到NameServer去拉取Topic路由数据，然后缓存在Producer的本地。那么当Producer拿到了一个Topic的路由数据之后，其实接下来就应该选择要发送消息到这个Topic的哪一个MessageQueue上去了！

因为大家都知道，Topic是一个逻辑上的概念，一个Topic的数据往往是分布式存储在多台Broker机器上的，因此Topic本质是由多个MessageQueue组成的。

每个MessageQueue都可以在不同的Broker机器上，当然也可能一个Topic的多个MessageQueue在一个Broker机器上，如下图所示。
在这里插入图片描述
只要你知道了要发送消息到哪个MessageQueue上去，然后就知道这个MessageQueue在哪台Broker机器上，接着就跟那台Broker机器建立连接，发送消息给他就可以了。

之前介绍过，发送消息的核心源码是在DefaultMQProducerImpl.sendDefaultImpl()方法中的，在这个方法里，只要你获取到了Topic的路由数据&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
无法无天过路客
关注
专栏目录
订阅专栏
探究 | RocketMQ 发送消息messageQueue选择策略~
m0_71777195的博客
08-28 601
通过上面的源码探究，我们了解到了，RocketMq默认send消息时，是随机选择的一个message queue，当消息失败重试时，会选择下一个不同的broker所属的message queue。但是，在实际开发中，一些特殊场景，比如我们要发送顺序消息，具体逻辑见: ，这里我就不做过多赘述了~咱们直接上官方案例java复制代码public class Producer {try {i < 100;i++) {// 自定义MessageQueueSelector，即队列选择器。
RocketMQ (五) 队列-MessageQueue
dmjxsy的博客
02-25 1499
RocketMQ(队列)
什么是MessageQueue（RocketMQ中的队列）
最新发布
qq_51967234的博客
05-21 700
在RocketMQ中，MessageQueue是消息的物理存储单元，用于划分和管理消息的存储和消费。每个Topic都会被划分为多个MessageQueue，消息会按照一定的规则分配到不同的MessageQueue中。具体来说，RocketMQ的MessageQueue具有以下特点:1．唯一标识:每个MessageQueue都有一个唯一标识符，由Topic名称和队列编号组成。2．消息顺序性:对于同一个MessageQueue中的消息，RocketMQ保证其消费的顺序性，即先进先出(FIFO)。
RocketMQ中的message queue是个什么，该怎么理解？
KuaiLeShiFu的博客
12-15 4898
RocketMQ中的message queue是个什么，该怎么理解？ 1. Topic, internally, is logically partitioned into one or more sub-topics. We call these sub-topics “message queues”. This concept plays a major role in implementin
RocketMQ：MessageQueue选择原理
xmbcc777的博客
04-25 201
可以看到这里的逻辑也被 lastBrokerName 分成了两部分，这个 lastBrokerName 代表上次选择的 MessageQueue 所在的 Broker，并且它只会在第一次投递失败之后的后续重试流程中有值。在首次进入 incrementAndGet() 逻辑时，index 肯定是 null，所以这里会随机生成一个数，而后续的调用都会在最初生成的随机值上。的，所以在第一次正常投递 Message 时，它肯定为 null。只有在第 2、3 次循环时 mq 才有值，而进行到了 2、3 次就说明。
RocketMQ中MessageQueue的选择原理
xmbcc777的博客
04-08 245
第一种：正常发送消息 这是正常发送消息的内部逻辑， 1. 通过调用sendWhichQueue.incrementAndGet() 方法获得一个 index 值 2. 将 index 与队列数取余 得到处理后的 pos 下标值 3. 根据 pos 下标取得应该发送的队列
rocketmq-all-5.1.1-bin-release.zip
06-06
- **Producer**：生产者，负责创建和发送消息到RocketMQ系统。 - **Consumer**：消费者，从RocketMQ系统中拉取消息并进行处理。 - **Message**：RocketMQ中的基本数据单元，包含主题（Topic）、标签（Tag）和消息...
rocketmq-all-5.1.4-bin-release.zip
10-21
1. **消息队列**：RocketMQ提供基于主题（Topic）和队列（Queue）的消息模型，允许应用程序将消息发送到主题，然后由多个消费者从队列中拉取或订阅。这种模型支持一对多、一对一和广播等多种通信模式。 2. **高可用...
rocketmq-all-4.9.3-bin-release
03-14
1. **消息队列**：消息队列（Message Queue）是一种解耦组件，允许生产者将消息发送到队列，而消费者在适当的时候从队列中取出并处理消息。这种方式提高了系统的响应速度和并发能力，同时也提供了故障恢复和负载均衡...
rocketmq-externals-master.zip
12-04
- **生产者（Producer）**：负责发送消息到RocketMQ服务器。 - **消费者（Consumer）**：负责接收并处理来自RocketMQ服务器的消息。 - **NameServer**：服务发现和路由中心，提供主题和队列的注册与查询功能，不...
rocketmq-spring-rocketmq-spring-all-2.2.2.zip
09-16
2. **消息重试与死信队列**：RocketMQ支持消息重试机制，当消息无法正常处理时，可以设置消息进入死信队列，避免影响其他正常消息的处理。 3. **消息过滤**：RocketMQ-Spring允许在消费者端使用SQL92语法进行消息...
【RocketMQ|源码分析】Producer是如何选择路由队列的？
MarcoLin
03-26 356
消息发送到RocketMQ服务器涉及到下面几个概念生产者生产者是消息生成的实体主题(Topic)Topic是消息传输和存储的顶层容器，通常用于标识同意类型的业务逻辑消息，它是由多个队列组成，消息的存储和水平扩展是通过Topic内队列来实现的。队列(MessageQueue)队列是消息存储和传输的实际单元容器，它相当于Kakfa中的分区(partition)。MessageQueue代码如下所示，它主要包含topic，brokername,queueId三个属性。
rocketmq基本概念
计算机王的博客
08-02 411
rocketmq基本概念 消息模型 rocketmq由Producer、Broker、Consumer三部分组成 Producer负责发送消息 Consumer负责接收消息 Broker负责存储消息 broker对应一台服务器 每个broker可以存储多个topic的消息 每个topic的消息由多个messagequeue组成 messagequeue可以分布在不同的broker中 messagequeue是rocketmq存储数据的单位 consumergroup由多个consumer实例构成 消息
RocketMQ03-高级原理
roykingw的专栏
12-06 618
文章目录一、基础概念：1 消息模型（Message Model）2 消息生产者（Producer）3 消息消费者（Consumer）4 主题（Topic）5 代理服务器（Broker Server）6 名字服务（Name Server）7 消息（Message）二、消息存储1、何时存储消息2、消息存储介质2.1磁盘保存文件慢吗？2.2零拷贝技术加速文件读写3 消息存储结构4 刷盘机制5 消息主从复制6 负载均衡6.1Producer负载均衡6.2 Consumer负载均衡1、集群模式2、广播模式7、消息重试
RocketMQ学习笔记
weixin_46135249的博客
09-19 99
消息队列是分布式系统中重要的组件，其通用的使用场景可以简单地描述为：当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。
RocketMq中MessageQueue的分配
weixin_34418883的博客
02-25 7969
都知道Rocketmq中有ConsumerGroup的概念。在集群模式下，多台服务器配置相同的ConsumerGroup，能够使得每次只有一台服务器消费消息（注意，但不保证只消费一次，存在网络抖动的情况）。那么，笔者就很疑惑，Rocketmq是如何实现这个模式的？如何保证只有一台服务器消费？ 虽然答案很简单，但却是一个很好的带着问题看源码的机会。 RocketMq结构 从图中可以看到，MQ主要投...
最新版 rocketmq-all-4.8.0-bin-release.zip
01-04
- Topic与Queue：Topic是消息的主题，Queue是消息的实际存储单元，每个Topic可以有多个Queue。 4. **高可用性**： - Master-Slave复制：通过主备复制实现Broker的高可用，当主节点故障时，自动切换至备用节点。 ...
RocketMQ Producer 发送消息时如何选择broker
small_bao的博客
01-15 1288
版本：4.2.0 broker多台的时候producer如何选择一台发送消息呢？ producer在发送消息的时候，会选择一个messageQueue，然后会将消息发送到messageQueue所在的broker private SendResult sendDefaultImpl(Message msg, CommunicationMode communicationMode, SendCallback sendCallback, long timeout) throws MQClientExce
RocketMQ知识点汇总
fengyq17290的博客
01-26 865
目录消息队列功能解耦异步流量削峰消息分发不同类型的消费者推模型DefaultMQPushConsumer推模型实现原理推模型流量控制拉模型DefaultMQPullConsumer拉模型的操作方式不同类型的生产者DefaultMQProducer同步发送异步发送单向发送延迟消息分布式消息队列的协调者NameServer 的功能集群状态的存储结构为何不用ZooKeeper消息存储结构顺序写随机读零拷...
RocketMQ的消息发送及消费
InsistMlfy的博客
06-03 853
RocketMQ消息支持的模式： 　　消息支持的模式分为三种：NormalProducer（普通同步），消息异步发送，OneWay。 消息同步发送： 　　普通消息的发送和接收在前面已经演示过了，在前面的案例中是基于同步消息发送模式。也就是说消息发送出去后，producer会等到broker回应后才能继续发送下一个消息. 消息异步发送： 　　异步发送是指发送方发出数据后，不等接收方发回响应，接着发送下个数据包的通讯方式。 MQ 的异步发送，需要用户实现异步发送回调接口（SendCallback）。消...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无法无天过路客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值