RocketMQ源码分析之消息发送

由于之前线上发生了很严重的消息堆积问题,所以研究了一下rocket的发送源码,这里主要研究消息发送:生产者在发送消息的时候,会根据消息的Topic,选出对应路由信息,再挑选出某个Queue,将消息发送至Queue对应的Broker。

消息对应的Topic信息以及具体内容被封装在了Message中,并交由DefaultMQProducer,调用send()进行发送。DefaultMQProducer 只是一个面向调用方的代理,真正的生产者是DefaultMQProducerImpl,而消息发送的具体实现,便在DefaultMQProducerImpl中的这个方法内:

话不多说直接上源码:

private SendResult sendDefaultImpl(
        Message msg,
        final CommunicationMode communicationMode,
        final SendCallback sendCallback,
        final long timeout
    )

第一步:找到Topic对应的路由信息。

TopicPublishInfo topicPublishInfo = this.tryToFindTopicPublishInfo(msg.getTopic());

寻找Topic路由并不会这么一行代码那么简单,我们分析下tryToFindTopicPublishInfo(final String topic)中的逻辑。

首先当然是进行本地查表,本地路由信息存放在topicPublishInfoTable中。但是如果本地没有,则会向NameSrv发起请求,获取路由信息,更新本地路由表。接着再次尝试从本地路由表中获取路由信息。

private TopicPublishInfo tryToFindTopicPublishInfo(final String topic) throws MQClientException {
		//本地路由信息存放在topicPublishInfoTable中,第一次调用为null
        TopicPublishInfo topicPublishInfo = this.topicPublishInfoTable.get(topic);
        if (null == topicPublishInfo || !topicPublishInfo.ok()) {
        //如果本地没有,则会向NameSrv发起请求
            this.mQClientFactory.updateTopicRouteInfoFromNameServer(topic);
            topicPublishInfo = this.topicPublishInfoTable.get(topic);
        }

        if (topicPublishInfo != null && (topicPublishInfo.isHaveTopicRouterInfo() || topicPublishInfo.ok())) {
            return topicPublishInfo;
        } else {
        //如果Topic事先没有在任何Broker上进行配置,那么Broker在向NameSrv注册路由信息时便不会带上该Topic的路由,所以生产者也就无法从NameSrv中查询到该Topic的路由了
            if (defaultMQProducer.isUseDefaultTopicIfNotFound()) {
                this.mQClientFactory.updateTopicRouteInfoFromNameServer(topic, true, this.defaultMQProducer);
                topicPublishInfo = this.topicPublishInfoTable.get(topic);
                return topicPublishInfo;
            } else {
                throw new MQClientException(ResponseCode.TOPIC_NOT_EXIST, "Topic " + topic + " not exist!");
            }
        }
    }
  1. 如果Topic事先有过设置,从NameSrv上查询到了,此处便会直接返回所找到的路由信息:topicPublishInfo。但是如果Topic事先没有在任何Broker上进行配置,那么Broker在向NameSrv注册路由信息时便不会带上该Topic的路由,所以生产者也就无法从NameSrv中查询到该Topic的路由了。

  2. 对于这种没有事先配置Topic的情况,RocketMQ不会直接抛出错误,而是会走到上面的else分支里,再次调用 updateTopicRouteInfoFromNameServer(topic, true, this.defaultMQProducer),从NameSrv 获取路由信息。

既然前面已经从NameSrv中没有查询到,为何还要在查询一次呢
让我们先查看updateTopicRouteInfoFromNameServer方法(第一次从NameSrv获取Topic路由信息):

public boolean updateTopicRouteInfoFromNameServer(final String topic) {
        return updateTopicRouteInfoFromNameServer(topic, false, null);
    }

该方法又调用了同名方法updateTopicRouteInfoFromNameServer,只是参数多了两个,并且加有默认值,获取有读者已经注意到,这个方法跟第二次查询路由信息的方法调用很相似:

updateTopicRouteInfoFromNameServer(topic, false, null);//第一次
updateTopicRouteInfoFromNameServer(topic, true, this.defaultMQProducer)//第二次

两次调用为何参数不同?我们继续往下看实现逻辑:

public boolean updateTopicRouteInfoFromNameServer(final String topic, boolean isDefault,
        DefaultMQProducer defaultMQProducer) {
        try {
            if (this.lockNamesrv.tryLock(LOCK_TIMEOUT_MILLIS, TimeUnit.MILLISECONDS)) {
                try {
                    TopicRouteData topicRouteData;
                    //注意这里便是外部调用传进来的boolean参数,起到流程控制的作用
                    if (isDefault && defaultMQProducer != null) {
                        topicRouteData = this.mQClientAPIImpl.getDefaultTopicRouteInfoFromNameServer(defaultMQProducer.getCreateTopicKey(),
                            1000 * 3);
                        if (topicRouteData != null) {
                            for (QueueData data : topicRouteData.getQueueDatas()) {
                                int queueNums = Math.min(defaultMQProducer.getDefaultTopicQueueNums(), data.getReadQueueNums());
                                data.setReadQueueNums(queueNums);
                                data.setWriteQueueNums(queueNums);
                            }
                        }
                    } else //第一次因为isDefault为false进入这个分支
                        topicRouteData = this.mQClientAPIImpl.getTopicRouteInfoFromNameServer(topic, 1000 * 3);
                    }
                    if (topicRouteData != null) {
                    //首次为null
                        TopicRouteData old = this.topicRouteTable.get(topic);
                        //判断topicRouteData是否改变
                        boolean changed = topicRouteDataIsChange(old, topicRouteData);
                        if (!changed) {
                    
                            changed = this.isNeedUpdateTopicRouteInfo(topic);
                        } else {
                            log.info("the topic[{}] route info changed, old[{}] ,new[{}]", topic, old, topicRouteData);
                        }
						//如果路由表有变化,则Update Pub info和Update sub info
                        if (changed) {
                            TopicRouteData cloneTopicRouteData = topicRouteData.cloneTopicRouteData();

                            for (BrokerData bd : topicRouteData.getBrokerDatas()) {
                                this.brokerAddrTable.put(bd.getBrokerName(), bd.getBrokerAddrs());
                            }

                            // Update Pub info
                            {
                                TopicPublishInfo publishInfo = topicRouteData2TopicPublishInfo(topic, topicRouteData);
                                publishInfo.setHaveTopicRouterInfo(true);
                                Iterator<Entry<String, MQProducerInner>> it = this.producerTable.entrySet().iterator();
                                while (it.hasNext()) {
                                    Entry<String, MQProducerInner> entry = it.next();
                                    MQProducerInner impl = entry.getValue();
                                    if (impl != null) {
                                        impl.updateTopicPublishInfo(topic, publishInfo);
                                    }
                                }
                            }

                            // Update sub info
                            {
                                Set<MessageQueue> subscribeInfo = topicRouteData2TopicSubscribeInfo(topic, topicRouteData);
                                Iterator<Entry<String, MQConsumerInner>> it = this.consumerTable.entrySet().iterator();
                                while (it.hasNext()) {
                                    Entry<String, MQConsumerInner> entry = it.next();
                                    MQConsumerInner impl = entry.getValue();
                                    if (impl != null) {
                                        impl.updateTopicSubscribeInfo(topic, subscribeInfo);
                                    }
                                }
                            }
                            log.info("topicRouteTable.put. Topic = {}, TopicRouteData[{}]", topic, cloneTopicRouteData);
                            this.topicRouteTable.put(topic, cloneTopicRouteData);
                            return true;
                        }
                    } else {
                        log.warn("updateTopicRouteInfoFromNameServer, getTopicRouteInfoFromNameServer return null, Topic: {}", topic);
                    }
                } catch (Exception e) {
                    if (!topic.startsWith(MixAll.RETRY_GROUP_TOPIC_PREFIX) && !topic.equals(MixAll.DEFAULT_TOPIC)) {
                        log.warn("updateTopicRouteInfoFromNameServer Exception", e);
                        if (e instanceof MQClientException && ResponseCode.TOPIC_NOT_EXIST == ((MQClientException) e).getResponseCode()) {
                            // clean no used topic
                            cleanNoneRouteTopic(topic);
                        }
                    }
                } finally {
                    this.lockNamesrv.unlock();
                }
            } else {
                log.warn("updateTopicRouteInfoFromNameServer tryLock timeout {}ms", LOCK_TIMEOUT_MILLIS);
            }
        } catch (InterruptedException e) {
            log.warn("updateTopicRouteInfoFromNameServer Exception", e);
        }

        return false;
    }
  1. 外部调用传进来的topic,isDefault参数,起到流程控制的作用,如果指定的topic没有查到路由信息,则使用默认topic。该默认Topic为 TBW102 ,这个Topic就是用来创建其他Topic所用的,则同时传入defaultMQProducer,通过defaultMQProducer.getCreateTopicKey()方法自动创建topic,然后再查询路由信息

    如果某Broker配置了 autoCreateTopicEnable,允许自动创建Topic,那么在该Broker启动后,便会向自己的路由表中插入TBW102这个Topic,并注册到NameSrv,表明处理该Topic类型的消息。

  2. 判断返回的topicRouteData和原来的是否有改变

    	private boolean topicRouteDataIsChange(TopicRouteData olddata, TopicRouteData nowdata) {
    	        if (olddata == null || nowdata == null)
    	            return true;
    	        TopicRouteData old = olddata.cloneTopicRouteData();
    	        TopicRouteData now = nowdata.cloneTopicRouteData();
    	        Collections.sort(old.getQueueDatas());
    	        Collections.sort(old.getBrokerDatas());
    	        Collections.sort(now.getQueueDatas());
    	        Collections.sort(now.getBrokerDatas());
    	        return !old.equals(now);
    	
    	    }
    
  3. 若有改变,则更新发布和订阅信息

  4. 更新发布:通过topicRouteData2TopicPublishInfo方法组装publishInfo,将QueueDatas中的每一个写队列(默认8个)生成一个MessageQueue 放入集合中

    List<QueueData> qds = route.getQueueDatas();
                Collections.sort(qds);
                for (QueueData qd : qds) {
                    if (PermName.isWriteable(qd.getPerm())) {
                        BrokerData brokerData = null;
                        for (BrokerData bd : route.getBrokerDatas()) {
                            if (bd.getBrokerName().equals(qd.getBrokerName())) {
                                brokerData = bd;
                                break;
                            }
                        }
                        if (null == brokerData) {
                            continue;
                        }
                        if (!brokerData.getBrokerAddrs().containsKey(MixAll.MASTER_ID)) {
                            continue;
                        }
                        //将写队列生成一个MessageQueue 放入集合中
                        for (int i = 0; i < qd.getWriteQueueNums(); i++) {
                            MessageQueue mq = new MessageQueue(topic, qd.getBrokerName(), i);
                            info.getMessageQueueList().add(mq);
                        }
                    }
                }
    

    下面是QueueDatas和BrokerDatas的具体截图
    在这里插入图片描述

  5. 更新订阅:通过topicRouteData2TopicSubscribeInfo方法组装subscribeInfo,将QueueDatas中的每一个读队列(默认8个)生成一个MessageQueue 放入集合中

    for (QueueData qd : qds) {
                if (PermName.isReadable(qd.getPerm())) {
                    for (int i = 0; i < qd.getReadQueueNums(); i++) {
                        MessageQueue mq = new MessageQueue(topic, qd.getBrokerName(), i);
                        mqList.add(mq);
                    }
                }
            }
    
  6. 最后更新本地路由表:this.topicRouteTable.put(topic, cloneTopicRouteData);

第二步:选择某个Queue用来发送消息

当拥有了topicPublishInfo信息后,就要选择Queue来发送信息了

 MessageQueue mqSelected = this.selectOneMessageQueue(topicPublishInfo, lastBrokerName);

在看他的源码之前我们先回顾一下第一步的路由信息
QueueDatas的截图:
在这里插入图片描述
那么QueueDatas的结构呢?

public class TopicRouteData extends RemotingSerializable {
    private String orderTopicConf;
    private List<QueueData> queueDatas;
    private List<BrokerData> brokerDatas;
    private HashMap<String/* brokerAddr */, List<String>/* Filter Server */> filterServerTable;
}

里面简单的记录了brokerAddr 和两个int类型的QueueNums。

其实对于RokcetMQ来说,Queue是比较抽象的一个概念,并不是说某个具体的队列。Topic、QueueData以及Broker是 1:1:1 的,QueueData本质上是记录某个Topic在某个Broker上的所有路由信息

brokerName:这个很容易理解,Queue所属的Broker;
readQueueNums:该Broker上,针对该Topic,配置的读队列个数;
writeQueueNums:该Broker上,针对该Topic,配置的写队列个数。

前面的第一步中,我们已经分析了当生产者从NameSrv获取到Topic对于的TopicRouteData时,是如何将其转成TopicPublishInfo,存放在本地路由表中。

更加了解过数据结构之后,让我们接着之前的话题:生产者如何选择某个Queue进行消息发送。

public MessageQueue selectOneMessageQueue(final String lastBrokerName) {
        if (lastBrokerName == null) {
            return selectOneMessageQueue();
        } else {
            int index = this.sendWhichQueue.getAndIncrement();
            for (int i = 0; i < this.messageQueueList.size(); i++) {
                int pos = Math.abs(index++) % this.messageQueueList.size();
                if (pos < 0)
                    pos = 0;
                MessageQueue mq = this.messageQueueList.get(pos);
                if (!mq.getBrokerName().equals(lastBrokerName)) {
                    return mq;
                }
            }
            return selectOneMessageQueue();
        }
    }
  1. 当lastBrokerName不为空,将计数器进行自增,再遍历MessageQueue列表,按照计数器数值对MessageQueue总个数进行取模,再根据取模结果,取出MessageQueue列表中的某个Queue,并判断Queue所属Broker的Name是否和lastBrokerName一致,一致则继续遍历。
  2. 当lastBrokerName为空时,同样将计数器进行自增,按照计数器数值对MessageQueue总个数进行取模,再根据取模结果,取出MessageQueue列表中的某个Queue,直接返回。
    这段逻辑的主要部分就是利用计数器,来进行Queue的负载均衡。

那么lastBrokerName的作用是什么

当某条消息第一次发送时,lastBrokerName 为空,此时就是直接取模进行负载均衡操作。但是如果消息发送失败,就会触发重试机制,发送失败有可能是因为Broker出现来某些故障,或者某些网络连通性问题,所以当消息第N次重试时,就要避开第N-1次(上一次)时消息发往的Broker,也就是lastBrokerName。

第三步:消息发送的过程

接下来就是发送消息了

sendResult = this.sendKernelImpl(msg, mq, communicationMode, sendCallback, topicPublishInfo, timeout);
  1. 获取Queue所属Broker的地址:String brokerAddr = this.mQClientFactory.findBrokerAddressInPublish(mq.getBrokerName());

  2. 要将消息内容及其他信息封装进请求头

     SendMessageRequestHeader requestHeader = new SendMessageRequestHeader();
                    requestHeader.setProducerGroup(this.defaultMQProducer.getProducerGroup());
                    requestHeader.setTopic(msg.getTopic());
                    requestHeader.setDefaultTopic(this.defaultMQProducer.getCreateTopicKey());
                    requestHeader.setDefaultTopicQueueNums(this.defaultMQProducer.getDefaultTopicQueueNums());
                    requestHeader.setQueueId(mq.getQueueId());
                    requestHeader.setSysFlag(sysFlag);
                    requestHeader.setBornTimestamp(System.currentTimeMillis());
                    requestHeader.setFlag(msg.getFlag());
                    requestHeader.setProperties(MessageDecoder.messageProperties2String(msg.getProperties()));
                    requestHeader.setReconsumeTimes(0);
                    requestHeader.setUnitMode(this.isUnitMode());
                    requestHeader.setBatch(msg instanceof MessageBatch);
    
  3. 发送消息

接下里拆解消息发送

  1. 请求参数

     if (sendSmartMsg || msg instanceof MessageBatch) {
                SendMessageRequestHeaderV2 requestHeaderV2 = SendMessageRequestHeaderV2.createSendMessageRequestHeaderV2(requestHeader);
                request = RemotingCommand.createRequestCommand(msg instanceof MessageBatch ? RequestCode.SEND_BATCH_MESSAGE : RequestCode.SEND_MESSAGE_V2, requestHeaderV2);
            } else {
                request = RemotingCommand.createRequestCommand(RequestCode.SEND_MESSAGE, requestHeader);
            }
    

    这里按照是否发送 smartMsg ,创建了不同请求命令号的请求,

  2. 接下来,按照发送方式(单向、同步、异步),调用不同的发送函数:

    switch (communicationMode) {
                case ONEWAY:
                    this.remotingClient.invokeOneway(addr, request, timeoutMillis);
                    return null;
                case ASYNC:
                    final AtomicInteger times = new AtomicInteger();
                    this.sendMessageAsync(addr, brokerName, msg, timeoutMillis, request, sendCallback, topicPublishInfo, instance,
                        retryTimesWhenSendFailed, times, context, producer);
                    return null;
                case SYNC:
                    return this.sendMessageSync(addr, brokerName, msg, timeoutMillis, request);
                default:
                    assert false;
                    break;
            }
    

这里复习下三种发送方式。

单向:只管发送,不管是否发送成功;
同步:阻塞至拿到发送结果;
异步:发送后直接返回,在回调函数中等待发送结果。
至此消息的发送就已经结束了,成功的从生产者传输到了Broker。

四: 总结

1:获取路由信息

2:按照负载均衡方式,选择queue

3:根据选择出的queue,发送消息到Broker。

4:Topic 没有提前配置的情况下如何进行路由选择?

  1. 如果某Broker配置了 autoCreateTopicEnable,允许自动创建Topic,那么在该Broker启动后,便会向自己的路由表中插入TBW102这个Topic,并注册到NameSrv,表明处理该Topic类型的消息。

  2. 如果指定的topic没有查到路由信息,则使用默认topic。该默认Topic为 TBW102 ,这个Topic就是用来创建其他Topic所用的,则同时传入defaultMQProducer,通过defaultMQProducer.getCreateTopicKey()方法自动创建topic,然后再查询路由信息

消息发送失败的情况下如何重试?
如果消息发送失败,就会触发重试机制,发送失败有可能是因为Broker出现某些故障,或者某些网络连通性问题,所以当消息第N次重试时,就要避开第N-1次(上一次)时消息发往的Broker,也就是lastBrokerName。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值