前面说了 消息生产者的启动主要流程，从启动脚本到
DefaultMQProducer再到
DefaultMQProducerImpl然后到
MQClientInstance。都是一步一步委托的。这里之所以把
MQClientInstance单独拿出来说，是因为
MQClientInstance这个类不仅仅在生产者用到，他还是消费者，RocketMQ的Admin控制台的共用一个客户端实体类。类定义在client包中，这个类可以理解为一个工厂，是对消费者，生产者以及控制台三者的一个合集，内部封装了netty客户端，消息的生产，消费和负载均衡的实现类等。
MQClientInstance的内部变量
| 字段名 | 对象类型 | 作用 |
|---|---|---|
clientConfig | ClientConfig | 客户端一些通用配置，topic拉取周期时间，心跳周期时间等 |
producerTable | ConcurrentMap<String MQProducerInner> | 注册了的生产者的实例缓存集合，MQProducerInner的实现类就是DefaultMQProducerImpl |
consumerTable | ConcurrentMap<String , MQConsumerInner> | 注册了的消费则实例缓存集合，MQConsumerInner的实现类就是对应的pull和push两种方式拉取消息的类 |
adminExtTable | ConcurrentMap<String, MQAdminExtInner> | 注册了的admin实例缓存集合 |
nettyClientConfig | NettyClientConfig | netty客户端的配置类 |
mQClientAPIImpl | MQClientAPIImpl | MQ内部一些操作的api的实现，包括发送，消费消息和admin控制台的一些操作指令的实现，以及一些网络请求的处理 |
mQAdminImpl | MQAdminImpl | MQ的admin控制台操作的内部逻辑的实现类，控制台可以通过一些命令来对消息或者topic进行操作 |
topicRouteTable | ConcurrentMap<String, TopicRouteData> | topic的路由配置信息 |
pullMessageService | PullMessageService | push模式下，拉取消息的线程 |
rebalanceService | RebalanceService | 消息消费的负载均衡类 |
defaultMQProducer | DefaultMQProducer | 消息生产者类 |
MQClientInstance的创建
前面讲Producer的启动逻辑说到了MQClientInstance的创建，这里接着继续。整个类的创建过程就是内部的一些成员变量的创建和初始化的过程
public MQClientInstance(ClientConfig clientConfig, int instanceIndex, String clientId, RPCHook rpcHook) {
this.clientConfig = clientConfig;
//实例id ip+"@"+instanceName
this.instanceIndex = instanceIndex;
//客户端netty配置
this.nettyClientConfig = new NettyClientConfig();
//回调的线程数
this.nettyClientConfig.setClientCallbackExecutorThreads(clientConfig.getClientCallbackExecutorThreads());
//是否用tls 也就是证书校验
this.nettyClientConfig.setUseTLS(clientConfig.isUseTLS());
//请求事件处理器
this.clientRemotingProcessor = new ClientRemotingProcessor(this);
//创建MQClientAPIImpl，同事注册一些时间处理器，和rpc调用的钩子方法
this.mQClientAPIImpl = new MQClientAPIImpl(this.nettyClientConfig, this.clientRemotingProcessor, rpcHook, clientConfig);
//更新nameServer的地址
if (this.clientConfig.getNamesrvAddr() != null) {
this.mQClientAPIImpl.updateNameServerAddressList(this.clientConfig.getNamesrvAddr());
log.info("user specified name server address: {}", this.clientConfig.getNamesrvAddr());
}
this.clientId = clientId;
//操作MQClientAPIImpl的封装类
this.mQAdminImpl = new MQAdminImpl(this);
//push模式消费的
this.pullMessageService = new PullMessageService(this);
//消费负载均衡的处理类
this.rebalanceService = new RebalanceService(this);
//内部消息的生产者
this.defaultMQProducer = new DefaultMQProducer(MixAll.CLIENT_INNER_PRODUCER_GROUP);
this.defaultMQProducer.resetClientConfig(clientConfig);
//消费统计管理
this.consumerStatsManager = new ConsumerStatsManager(this.scheduledExecutorService);
log.info("Created a new client Instance, InstanceIndex:{}, ClientID:{}, ClientConfig:{}, ClientVersion:{}, SerializerType:{}",
this.instanceIndex,
this.clientId,
this.clientConfig,
MQVersion.getVersionDesc(MQVersion.CURRENT_VERSION), RemotingCommand.getSerializeTypeConfigInThisServer());
}
创建的这些内部对象就不进行说明了。创建完之后就回到了DefaultMQProducerImpl中的start方法继续对MQClientInstance相关的逻辑进行讲解。这里把无关代码去掉
public void start(final boolean startFactory) throws MQClientException {
......
//创建客户端
this.mQClientFactory = MQClientManager.getInstance().getOrCreateMQClientInstance(this.defaultMQProducer, rpcHook);
//注册生产者,这个会把对应的生产者加入到对应的分组集合中（group, producer），然后在向broker发送心跳包的时候带过去
boolean registerOK = mQClientFactory.registerProducer(this.defaultMQProducer.getProducerGroup(), this);
......
//启动服务
if (startFactory) {
mQClientFactory.start();
}
......
//加锁的方式发送心跳给所有的broker
this.mQClientFactory.sendHeartbeatToAllBrokerWithLock();
}
启动MQClientInstance
进入MQClientInstance的start方法。
public void start() throws MQClientException {
synchronized (this) {
switch (this.serviceState) {
//刚创建
case CREATE_JUST:
this.serviceState = ServiceState.START_FAILED;
// If not specified,looking address from name server
if (null == this.clientConfig.getNamesrvAddr()) {
//从系统配置获取nameServer地址
this.mQClientAPIImpl.fetchNameServerAddr();
}
// 启动客户端，启动netty客户端
this.mQClientAPIImpl.start();
// Start various schedule tasks
//启动各种定时任务，包含获取更新nameserver地址，从nameserver更新topic的路由信息，发送心跳，持久化消费偏移量，调整线程池大小
this.startScheduledTask();
// 启动push模式的拉取消息服务
this.pullMessageService.start();
// 启动负载均衡服务
this.rebalanceService.start();
// Start push service
this.defaultMQProducer.getDefaultMQProducerImpl().start(false);
log.info("the client factory [{}] start OK", this.clientId);
this.serviceState = ServiceState.RUNNING;
break;
case START_FAILED:
throw new MQClientException("The Factory object[" + this.getClientId() + "] has been created before, and failed.", null);
default:
break;
}
}
}
这里的主要逻辑一步一个方法还是很清晰的。其中创建netty客户端的代码分析，跟Broker的启动逻辑是一样的，可以看前面分析Broker启动的逻辑文章。后面的pullMessageService和rebalanceService在后面的消息消费的逻辑分析会讲到。
整个Producer消息生产者的在MQClientInstance部分的逻辑就说完了，这里需要额外讲解一下topic的路由信息的更新方法updateTopicRouteInfoFromNameServer，这个方法在很多位置被调用。
public boolean updateTopicRouteInfoFromNameServer(final String topic, boolean isDefault,
DefaultMQProducer defaultMQProducer) {
try {
//获取锁，锁是用的ReentrantLock的限定时限获取锁，时间为3秒
if (this.lockNamesrv.tryLock(LOCK_TIMEOUT_MILLIS, TimeUnit.MILLISECONDS)) {
try {
TopicRouteData topicRouteData;
//如果系统默认的topic，并且创建了Producer对象，这个在生产者启动的时候会进入这个分支
if (isDefault && defaultMQProducer != null) {
//获取系统启动时候创建的topic
topicRouteData = this.mQClientAPIImpl.getDefaultTopicRouteInfoFromNameServer(defaultMQProducer.getCreateTopicKey(),
clientConfig.getMqClientApiTimeout());
if (topicRouteData != null) {
for (QueueData data : topicRouteData.getQueueDatas()) {
int queueNums = Math.min(defaultMQProducer.getDefaultTopicQueueNums(), data.getReadQueueNums());
data.setReadQueueNums(queueNums);
data.setWriteQueueNums(queueNums);
}
}
} else {
//除了上面说的，其余情况进入这个分支，这个方法是向Broker发送网络请求，请求码105，根据topic获取配置
topicRouteData = this.mQClientAPIImpl.getTopicRouteInfoFromNameServer(topic, clientConfig.getMqClientApiTimeout());
}
//如果topic 的路由信息不为空进行处理
if (topicRouteData != null) {
//获取老的配置信息
TopicRouteData old = this.topicRouteTable.get(topic);
//新老进行对比，存在变动就更新
boolean changed = topicRouteDataIsChange(old, topicRouteData);
//如果没有变动，进一步检查一下本地的配置是否需要更新，比如取消订阅，或者生产者下线
if (!changed) {
changed = this.isNeedUpdateTopicRouteInfo(topic);
} else {
log.info("the topic[{}] route info changed, old[{}] ,new[{}]", topic, old, topicRouteData);
}
//如果有变动
if (changed) {
TopicRouteData cloneTopicRouteData = topicRouteData.cloneTopicRouteData();
//更新broker信息
for (BrokerData bd : topicRouteData.getBrokerDatas()) {
this.brokerAddrTable.put(bd.getBrokerName(), bd.getBrokerAddrs());
}
// Update Pub info
{
//更新消息生产者的信息，主要是broker的信息
TopicPublishInfo publishInfo = topicRouteData2TopicPublishInfo(topic, topicRouteData);
publishInfo.setHaveTopicRouterInfo(true);
Iterator<Entry<String, MQProducerInner>> it = this.producerTable.entrySet().iterator();
while (it.hasNext()) {
Entry<String, MQProducerInner> entry = it.next();
MQProducerInner impl = entry.getValue();
if (impl != null) {
//更新到DefaultMQProducerImpl内部的topicPublishInfoTable中
impl.updateTopicPublishInfo(topic, publishInfo);
}
}
}
// Update sub info
{
//更新消费者的相关订阅信息
Set<MessageQueue> subscribeInfo = topicRouteData2TopicSubscribeInfo(topic, topicRouteData);
Iterator<Entry<String, MQConsumerInner>> it = this.consumerTable.entrySet().iterator();
while (it.hasNext()) {
Entry<String, MQConsumerInner> entry = it.next();
MQConsumerInner impl = entry.getValue();
if (impl != null) {
//更新到不同的消费模式实现类的subscriptionInner中
impl.updateTopicSubscribeInfo(topic, subscribeInfo);
}
}
}
log.info("topicRouteTable.put. Topic = {}, TopicRouteData[{}]", topic, cloneTopicRouteData);
this.topicRouteTable.put(topic, cloneTopicRouteData);
return true;
}
......各种异常逻辑........
return false;
}
这个里面的主要逻辑就是，
- 加锁，
- 根据是否是消息生产者启动调用或者是其他方式调用，向NameServer发送请求获取最新的Topic路由配置信息，
- 跟本地缓存中的配置信息进行对比，是否有不同。如果不存在，进一步比较是否取消订阅了或者其他需要变动的位置
- 如果存在变动，则进行更新，分别对生产者和消费者对应实现类中内部的缓存数据进行更新
807
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
