RocketMQ生产者—消息发送流程

RocketMQ客户端的消息发送通常分为以下3层:

业务层:通常指直接调用RocketMQ Client发送API的业务代码。

消息处理层:指RocketMQ Client获取业务发送的消息对象后,一系列的参数检查、消息发送准备、参数包装等操作。

通信层:指RocketMQ基于Netty封装的一个RPC通信服务,RocketMQ的各个组件之间的通信全部使用该通信层。

总体上讲,消息发送流程首先是 RocketMQ 客户端接收业务层消息,然后通过DefaultMQProducerImpl发送一个RPC请求给Broker,再由Broker处理请求并保存消息。下面以DefaultMQProducer.send(Message msg)接口为例讲解发送流程。

消息发送流程具体分为3步:

第一步:调用
defaultMQProducerImpl.send()方法发送消息。

第 二 步 : 通 过 设 置 的 发 送 超 时 时 间 , 调 用
defaultMQProducerImpl.send()方法发送消息。设置的超时时间可以通过sendMsgTimeout进行变更,其默认值为3s。

第 三 步 : 执 行
defaultMQProducerImpl.sendDefaultImpl ( ) 方法。这是一个公共发送方法,我们先看看入参:

communicationMode:通信模式,同步、异步还是单向。

sendCallback:对于异步模式,需要设置发送完成后的回调。

该方法是发送消息的核心方法,执行过程分为5步:

第一步,两个检查:生产者状态、消息及消息内容。没有运行的生产者不能发送消息。消息检查主要检查消息是否为空,消息的Topic的名字是否为空或者是否符合规范;消息体大小是否符合要求,最大值为4MB,可以通过maxMessageSize进行设置。

第二步,执行tryToFindTopicPublishInfo()方法:获取Topic路由信息,如果不存在则发出异常提醒用户。如果本地缓存没有路由信息,就通过Namesrv获取路由信息,更新到本地,再返回。具体实现代码如下:

第三步,计算消息发送的重试次数,同步重试和异步重试的执行方式是不同的。

第四步,执行队列选择方法selectOneMessageQueue()。根据队列对象中保存的上次发送消息的Broker的名字和Topic路由,选择(轮询 ) 一 个 Queue 将 消 息 发 送 到 Broker 。 我 们 可 以 通 过sendLatencyFaultEnable 来设置是否总是发送到延迟级别较低的Broker,默认值为False。

第五步,执行sendKernelImpl()方法。该方法是发送消息的核心方法,主要用于准备通信层的入参(比如Broker地址、请求体等),将请求传递给通信层,内部实现是基于Netty的,在封装为通信层request对象RemotingCommand前,会设置RequestCode表示当前请求是发送单个消息还是批量消息。具体实现代码如下:

Netty 本身是一个异步的网络通信框架,怎么实现同步的调用呢?我们可以通过
org.apache.rocketmq.remoting.netty.NettyRemotingAbstract.invokeSyncImpl()方法来实现同步的调用,具体实现代码如下:

在每次发送同步请求后,程序会执行 waitResponse()方法,直到 Netty接收 Broker的返回结果,相关代码如下:

然后,通过putResponse()方法释放锁,让请求线程同步返回。

异步发送时有很多request,每个response返回后怎么与request进行对应呢?这里面有一个关键参数——opaque,RocketMQ每次发送同步请求前都会为一个request分配一个opaque,这是一个原子自增的id,一个response会以opaque作为key保存在responseTable中,这样用opaque就将request和response连接起来了。

无论请求发送成功与否,都执行 updateFaultItem()方法,这就是在第三步中讲的总是发送到延迟级别较低的Broker的逻辑。

  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值