RocketMQ 动态扩容和缩减

RocketMQ 动态扩容和缩减

环境

nameserver 172.16.40.180:9876 需要缩减
nameserver 172.16.40.175:9876 需要缩减
nameserver 172.16.30.159:9876 新增扩容
nameserver 172.16.30.133:9876 新增扩容
broker-a master 172.16.30.159:10911
broker-a slave 172.16.30.133:10911
broker-b master 172.16.40.178:10911 需要缩减
broker-b slave 172.16.40.177:10911 需要缩减
broker-c master 172.16.40.179:10911 需要缩减
broker-c slave 172.16.40.176:10911 需要缩减
broker-d master 172.16.30.159:10911 新增扩容
broker-d slave 172.16.30.133:10911 新增扩容

动态扩容

1、启动新的nameserver
因为nameserver 都是相互独立的，可以直接起动，分别在159，133上启动nameserver

bash /opt/app/rocketmq-namesrv/bin/mqnamesrv

2、新增broker
新增一组broker-d，注册到新的nameserver当中,如下图

3、topic高可用
使用脚本先查询原有broker中的所有topic，再将topic都添加至broker-d和broker-a，避免broker依次重启时topic不存在的情况。（其他2组会缩减掉）

/opt/app/rocketmq/bin/mqadmin topicList -n 172.16.40.180:9876
/opt/app/rocketmq4.0/bin/mqadmin updateTopic -c DefaultCluster  -n 172.16.40.175:9876 -r 8 -w 8 -t $TOPIC_NAME

4、扩容broker
将broker-d 注册到线上使用中的nameserver，直接提供服务。此时生产者的nameserver连接地址还未变更，只是单纯的扩容broker。

5. 扩容nameserver
   由于之前已经做过topic高可用，那么可以依次重启其他broker，将新的nameserver接入进来。
   依次更改broker的配置文件修改参数,然后依次重启

namesrvAddr=172.16.30.159:9876;172.16.30.133:9876;172.16.40.180:9876;172.16.40.180:9876

此时新的nameserver和broker都已经接入完毕！
6、应用配置更改
在整体架构扩容之后，生产端和消费端都需要接入新的nameserver（共4个nameserver）
4个nameserver是相互独立、高可用的，假如有2个down掉了也不影响，所以应用先接入

这个由开发来操作
7、缩减broker
接下来就是缩减，前提一样是topic高可用。缩减的过程中会使某些生产者发送失败触发重发，而重发时broker已经没有那么多组了，肯定会有队列积压。rocketmq自身有一个机制，当PageCache繁忙，并且发送队列中还有排队的任务，则直接不再等待，直接抛出系统繁忙错误，使正在排队的线程快速失败，结束等待。参数是brokerFastFailureEnable该方法的实现要点是每隔10s，检测一次，默认为开启
影响这个参数判断的几个参数是osPageCacheBusyTimeOutMills, waitTimeMillsInSendQueue, waitTimeMillsInPullQueue, waitTimeMillsInHeartbeatQueue, waitTimeMillsInTransactionQueue 是和这五个有关系
其中waitTimeMillsInHeartbeatQueue, waitTimeMillsInTransactionQueue 這兩個 4.2版本沒有
下线broker为了减少排队时间尽早触发快速失败先更改参数值，命令如下：

/opt/app/rocketmq-namesrv/bin/mqadmin updateBrokerConfig -c DefaultCluster -n 172.16.30.159:9876 -k brokerFastFailureEnable -v false

1. 停止broker-b-master，保留slave持续消费（观察1小时）
2. 停止broker-b-slave
3. 停止broker-c-master，保留slave持续消费（观察1小时）
4. 停止broker-c-slave
   下线完成后记住要开启brokerFastFailureEnable
   8、缩减nameserver
   nameserver是独立的，而客户端已经接入了4个nameserver，所以可以直接停掉旧的nameserver
   

停掉旧的nameserver，而broker的配置文件并没有更改会导致日志中有注册失败的错误信息，但是不影响生产
而生产者消费者因为同时写了4个nameserver地址所以也并不影响。
9、更改broker配置文件（可选）
为了方便日志查询，可以将broker配置文件中无用的nameserver地址去掉。依次重启即可，前提是确保topic高可用。