前面说了 消息生产者的启动主要流程,从启动脚本到
DefaultMQProducer
再到
DefaultMQProducerImpl
然后到
MQClientInstance
。都是一步一步委托的。这里之所以把
MQClientInstance
单独拿出来说,是因为
MQClientInstance
这个类不仅仅在生产者用到,他还是消费者,RocketMQ的Admin控制台的共用一个客户端实体类。类定义在client包中,这个类可以理解为一个工厂,是对消费者,生产者以及控制台三者的一个合集,内部封装了netty客户端,消息的生产,消费和负载均衡的实现类等。
MQClientInstance
的内部变量
字段名 | 对象类型 | 作用 |
---|---|---|
clientConfig | ClientConfig | 客户端一些通用配置,topic拉取周期时间,心跳周期时间等 |
producerTable | ConcurrentMap<String MQProducerInner> | 注册了的生产者的实例缓存集合,MQProducerInner的实现类就是DefaultMQProducerImpl |
consumerTable | ConcurrentMap<String , MQConsumerInner> | 注册了的消费则实例缓存集合,MQConsumerInner的实现类就是对应的pull和push两种方式拉取消息的类 |
adminExtTable | ConcurrentMap<String, MQAdminExtInner> | 注册了的admin实例缓存集合 |
nettyClientConfig | NettyClientConfig | netty客户端的配置类 |
mQClientAPIImpl | MQClientAPIImpl | MQ内部一些操作的api的实现,包括发送,消费消息和admin控制台的一些操作指令的实现,以及一些网络请求的处理 |
mQAdminImpl | MQAdminImpl | MQ的admin控制台操作的内部逻辑的实现类,控制台可以通过一些命令来对消息或者topic进行操作 |
topicRouteTable | ConcurrentMap<String, TopicRouteData> | topic的路由配置信息 |
pullMessageService | PullMessageService | push模式下,拉取消息的线程 |
rebalanceService | RebalanceService | 消息消费的负载均衡类 |
defaultMQProducer | DefaultMQProducer | 消息生产者类 |
MQClientInstance的创建
前面讲Producer的启动逻辑说到了MQClientInstance
的创建,这里接着继续。整个类的创建过程就是内部的一些成员变量的创建和初始化的过程
public MQClientInstance(ClientConfig clientConfig, int instanceIndex, String clientId, RPCHook rpcHook) {
this.clientConfig = clientConfig;
//实例id ip+"@"+instanceName
this.instanceIndex = instanceIndex;
//客户端netty配置
this.nettyClientConfig = new NettyClientConfig();
//回调的线程数
this.nettyClientConfig.setClientCallbackExecutorThreads(clientConfig.getClientCallbackExecutorThreads());
//是否用tls 也就是证书校验
this.nettyClientConfig.setUseTLS(clientConfig.isUseTLS());
//请求事件处理器
this.clientRemotingProcessor = new ClientRemotingProcessor(this);
//创建MQClientAPIImpl,同事注册一些时间处理器,和rpc调用的钩子方法
this.mQClientAPIImpl = new MQClientAPIImpl(this.nettyClientConfig, this.clientRemotingProcessor, rpcHook, clientConfig);
//更新nameServer的地址
if (this.clientConfig.getNamesrvAddr() != null) {
this.mQClientAPIImpl.updateNameServerAddressList(this.clientConfig.getNamesrvAddr());
log.info("user specified name server address: {}", this.clientConfig.getNamesrvAddr());
}
this.clientId = clientId;
//操作MQClientAPIImpl的封装类
this.mQAdminImpl = new MQAdminImpl(this);
//push模式消费的
this.pullMessageService = new PullMessageService(this);
//消费负载均衡的处理类
this.rebalanceService = new RebalanceService(this);
//内部消息的生产者
this.defaultMQProducer = new DefaultMQProducer(MixAll.CLIENT_INNER_PRODUCER_GROUP);
this.defaultMQProducer.resetClientConfig(clientConfig);
//消费统计管理
this.consumerStatsManager = new ConsumerStatsManager(this.scheduledExecutorService);
log.info("Created a new client Instance, InstanceIndex:{}, ClientID:{}, ClientConfig:{}, ClientVersion:{}, SerializerType:{}",
this.instanceIndex,
this.clientId,
this.clientConfig,
MQVersion.getVersionDesc(MQVersion.CURRENT_VERSION), RemotingCommand.getSerializeTypeConfigInThisServer());
}
创建的这些内部对象就不进行说明了。创建完之后就回到了DefaultMQProducerImpl
中的start
方法继续对MQClientInstance
相关的逻辑进行讲解。这里把无关代码去掉
public void start(final boolean startFactory) throws MQClientException {
......
//创建客户端
this.mQClientFactory = MQClientManager.getInstance().getOrCreateMQClientInstance(this.defaultMQProducer, rpcHook);
//注册生产者,这个会把对应的生产者加入到对应的分组集合中(group, producer),然后在向broker发送心跳包的时候带过去
boolean registerOK = mQClientFactory.registerProducer(this.defaultMQProducer.getProducerGroup(), this);
......
//启动服务
if (startFactory) {
mQClientFactory.start();
}
......
//加锁的方式发送心跳给所有的broker
this.mQClientFactory.sendHeartbeatToAllBrokerWithLock();
}
启动MQClientInstance
进入MQClientInstance
的start
方法。
public void start() throws MQClientException {
synchronized (this) {
switch (this.serviceState) {
//刚创建
case CREATE_JUST:
this.serviceState = ServiceState.START_FAILED;
// If not specified,looking address from name server
if (null == this.clientConfig.getNamesrvAddr()) {
//从系统配置获取nameServer地址
this.mQClientAPIImpl.fetchNameServerAddr();
}
// 启动客户端,启动netty客户端
this.mQClientAPIImpl.start();
// Start various schedule tasks
//启动各种定时任务,包含获取更新nameserver地址,从nameserver更新topic的路由信息,发送心跳,持久化消费偏移量,调整线程池大小
this.startScheduledTask();
// 启动push模式的拉取消息服务
this.pullMessageService.start();
// 启动负载均衡服务
this.rebalanceService.start();
// Start push service
this.defaultMQProducer.getDefaultMQProducerImpl().start(false);
log.info("the client factory [{}] start OK", this.clientId);
this.serviceState = ServiceState.RUNNING;
break;
case START_FAILED:
throw new MQClientException("The Factory object[" + this.getClientId() + "] has been created before, and failed.", null);
default:
break;
}
}
}
这里的主要逻辑一步一个方法还是很清晰的。其中创建netty客户端的代码分析,跟Broker的启动逻辑是一样的,可以看前面分析Broker启动的逻辑文章。后面的pullMessageService
和rebalanceService
在后面的消息消费的逻辑分析会讲到。
整个Producer消息生产者的在MQClientInstance
部分的逻辑就说完了,这里需要额外讲解一下topic的路由信息的更新方法updateTopicRouteInfoFromNameServer
,这个方法在很多位置被调用。
public boolean updateTopicRouteInfoFromNameServer(final String topic, boolean isDefault,
DefaultMQProducer defaultMQProducer) {
try {
//获取锁,锁是用的ReentrantLock的限定时限获取锁,时间为3秒
if (this.lockNamesrv.tryLock(LOCK_TIMEOUT_MILLIS, TimeUnit.MILLISECONDS)) {
try {
TopicRouteData topicRouteData;
//如果系统默认的topic,并且创建了Producer对象,这个在生产者启动的时候会进入这个分支
if (isDefault && defaultMQProducer != null) {
//获取系统启动时候创建的topic
topicRouteData = this.mQClientAPIImpl.getDefaultTopicRouteInfoFromNameServer(defaultMQProducer.getCreateTopicKey(),
clientConfig.getMqClientApiTimeout());
if (topicRouteData != null) {
for (QueueData data : topicRouteData.getQueueDatas()) {
int queueNums = Math.min(defaultMQProducer.getDefaultTopicQueueNums(), data.getReadQueueNums());
data.setReadQueueNums(queueNums);
data.setWriteQueueNums(queueNums);
}
}
} else {
//除了上面说的,其余情况进入这个分支,这个方法是向Broker发送网络请求,请求码105,根据topic获取配置
topicRouteData = this.mQClientAPIImpl.getTopicRouteInfoFromNameServer(topic, clientConfig.getMqClientApiTimeout());
}
//如果topic 的路由信息不为空进行处理
if (topicRouteData != null) {
//获取老的配置信息
TopicRouteData old = this.topicRouteTable.get(topic);
//新老进行对比,存在变动就更新
boolean changed = topicRouteDataIsChange(old, topicRouteData);
//如果没有变动,进一步检查一下本地的配置是否需要更新,比如取消订阅,或者生产者下线
if (!changed) {
changed = this.isNeedUpdateTopicRouteInfo(topic);
} else {
log.info("the topic[{}] route info changed, old[{}] ,new[{}]", topic, old, topicRouteData);
}
//如果有变动
if (changed) {
TopicRouteData cloneTopicRouteData = topicRouteData.cloneTopicRouteData();
//更新broker信息
for (BrokerData bd : topicRouteData.getBrokerDatas()) {
this.brokerAddrTable.put(bd.getBrokerName(), bd.getBrokerAddrs());
}
// Update Pub info
{
//更新消息生产者的信息,主要是broker的信息
TopicPublishInfo publishInfo = topicRouteData2TopicPublishInfo(topic, topicRouteData);
publishInfo.setHaveTopicRouterInfo(true);
Iterator<Entry<String, MQProducerInner>> it = this.producerTable.entrySet().iterator();
while (it.hasNext()) {
Entry<String, MQProducerInner> entry = it.next();
MQProducerInner impl = entry.getValue();
if (impl != null) {
//更新到DefaultMQProducerImpl内部的topicPublishInfoTable中
impl.updateTopicPublishInfo(topic, publishInfo);
}
}
}
// Update sub info
{
//更新消费者的相关订阅信息
Set<MessageQueue> subscribeInfo = topicRouteData2TopicSubscribeInfo(topic, topicRouteData);
Iterator<Entry<String, MQConsumerInner>> it = this.consumerTable.entrySet().iterator();
while (it.hasNext()) {
Entry<String, MQConsumerInner> entry = it.next();
MQConsumerInner impl = entry.getValue();
if (impl != null) {
//更新到不同的消费模式实现类的subscriptionInner中
impl.updateTopicSubscribeInfo(topic, subscribeInfo);
}
}
}
log.info("topicRouteTable.put. Topic = {}, TopicRouteData[{}]", topic, cloneTopicRouteData);
this.topicRouteTable.put(topic, cloneTopicRouteData);
return true;
}
......各种异常逻辑........
return false;
}
这个里面的主要逻辑就是,
- 加锁,
- 根据是否是消息生产者启动调用或者是其他方式调用,向NameServer发送请求获取最新的Topic路由配置信息,
- 跟本地缓存中的配置信息进行对比,是否有不同。如果不存在,进一步比较是否取消订阅了或者其他需要变动的位置
- 如果存在变动,则进行更新,分别对生产者和消费者对应实现类中内部的缓存数据进行更新