java rocketmq消费_rocketmq消费负载均衡--push消费详解

前言

本文介绍了DefaultMQPushConsumerImpl消费者，客户端负载均衡相关知识点。本文从DefaultMQPushConsumerImpl启动过程到实现负载均衡，从源代码一步一步分析，共分为6个部分进行介绍，其中第6个部分 rebalanceByTopic 为负载均衡的核心逻辑模块，具体过程运用了图文进行阐述。

介绍之前首先抛出几个问题：

1. 要做负载均衡，首先要解决的一个问题是什么？

2. 负载均衡是Client端处理还是Broker端处理？

个人理解：

1. 要做负载均衡，首先要做的就是信号收集。

所谓信号收集，就是得知道每一个consumerGroup有哪些consumer，对应的topic是谁。信号收集分为Client端信号收集与Broker端信号收集两个部分。

2. 负载均衡放在Client端处理。

具体做法是：消费者客户端在启动时完善rebalanceImpl实例，同时拷贝订阅信息存放rebalanceImpl实例对象中，另外也是很重要的一个步骤 -- 通过心跳消息，不停的上报自己到所有Broker，注册RegisterConsumer，等待上述过程准备好之后在Client端不断执行的负载均衡服务线程从Broker端获取一份全局信息(该consumerGroup下所有的消费Client)，然后分配这些全局信息，获取当前客户端分配到的消费队列。

本文具体的内容：

I. copySubscription

Client端信号收集，拷贝订阅信息。

在DefaultMQPushConsumerImpl.start()时，会将消费者的topic订阅关系设置到rebalanceImpl的SubscriptionInner的map中用于负载：

private void copySubscription() throws MQClientException {

try {

//注：一个consumer对象可以订阅多个topic

Map sub = this.defaultMQPushConsumer.getSubscription();

if (sub != null) {

for (final Map.Entry entry : sub.entrySet()) {

final String topic = entry.getKey();

final String subString = entry.getValue();

SubscriptionData subscriptionData =

FilterAPI.buildSubscriptionData(this.defaultMQPushConsumer.getConsumerGroup(),//

topic, subString);

this.rebalanceImpl.getSubscriptionInner().put(topi