RocketMQ源码学习笔记：Producer发送消息流程

大苏打seven

已于 2024-07-14 19:32:22 修改

阅读量864

点赞数 27

分类专栏： RocketMQ 源码文章标签： rocketmq 学习笔记

于 2024-07-13 16:15:22 首次发布

本文链接：https://blog.csdn.net/sinat_38393872/article/details/140083052

版权

RocketMQ 源码专栏收录该内容

7 篇文章 0 订阅

订阅专栏

这是本人学习的总结，主要学习资料如下

马士兵教育
rocketMq官方文档

1、Overview

消息发送主要可以分成下面四个步骤。

验证消息
查找路由
选择队列
消息发送

之后从源码查看四个步骤的具体内容。

我们建立一个DefaultMQProducer之后，调用DefaultMQProducer#send()方法就可发送信息。

查看send()的代码最终会来到DefaultMQProducerImpl#sendDefaultImpl()，我们从这里开始看源码。

2、验证消息

发送前必然验证一下消息。

主要是检验消息的状态，一些必要的值不能为空等。

this.makeSureStateOK();
// 1、检查消息
Validators.checkMessage(msg, this.defaultMQProducer);

公司内部想设置一些新的规则用来发送前拦截信息就适合放在checkMessage()里。

这部分没有太多内容。

3、查找路由

所谓的路由是指可用的Broker的信息，包括地址，具体的消息队列等。

下面这一句获取到路由。

TopicPublishInfo topicPublishInfo = this.tryToFindTopicPublishInfo(msg.getTopic());

在DefaultMQProducer内部缓存这路由信息，维护在ConcurrentHashMap<String, TopicPublishInfo>中

private final ConcurrentMap<String/* topic */, TopicPublishInfo> topicPublishInfoTable = new ConcurrentHashMap<String, TopicPublishInfo>();

在tryToFindTopicPublishInfo()中会先检查路由信息是否存在，不存在还需要从NameServer中获取路由列表。

this.mQClientFactory.updateTopicRouteInfoFromNameServer(topic);

更新的时候会加上一个ReentrantLock，更新结束后释放。

获取到路由信息后开始选择队列发送消息。

4、选择消息发送队列

4.1、选择队列的策略

得到路由信息后就开始选择消息队列发送信息。

选择队列有两种策略

轮询规避：轮询选择队列。如果上次发送消息失败，那就消息需要重新发送，这时就需要规避掉上次发送失败的队列，寻找下一个队列发送。
故障延迟策略：在选择队列发送时根据以往发送时长判断该队列的Broker是否可用。对于发送失败的Broker，Producer会规避该Broker一段时间。

这是发送消息的流程图。

假设我们的Broker是集群，有两个Broker。消息会选择其中一个Broker发送消息，如果失败就重试，直到发送成功或者超过重试次数。
在这里插入图片描述

4.2、源码阅读

这里会探索源码如何实现这两种队列选择策略。

选择队列的入口在DefaultMQProducerImpl#sendDefaultImpl -> this.selectOneMessageQueue(topicPublishInfo, lastBrokerName);
在这里插入图片描述
从入口进入查看代码，最终在MQFaultStrategy#selectOneMessageQueue，代码通过sendLatencyFaultEnable这个字段来选择不同的选择策略。

在这里插入图片描述

4.2.1、轮询规避

这是轮询规避的源码。
在这里插入图片描述
其中lastBrokerName是上一次消息发送时选择的broker。这代表该消息上一次发送失败了，所以记录着上一次失败的broker以在这次选择Broker时规避他。

所以lastBrokerName==null时该消息是第一次发送，不需要规避，直接随机选择一个队列发送。

如果上一次发送失败，则开始轮询选择一个队列，保证这个新选出的队列和上一个不同后就可以返回。

4.2.2、故障延迟规避

4.2.2.1、计算规避时间

故障延迟规避策略需要记录发送时间并计算。在看选择Broker的代码时需要看看源码如何记录发送时间并计算出规避时间的。

计算规避时间的代码在this.updateFaultItem(mq.getBrokerName(), endTimestamp - beginTimestampPrev, false);。这时消息正常发送会调用一次这个方法；如果出现异常在catch快也会调用这个方法计算规避时间。
在这里插入图片描述