【RocketMQ】基于RocketMQ 5.1.0版本的自动故障恢复集群实践（Controller内嵌方式）

最新推荐文章于 2024-08-05 09:15:32 发布
最新推荐文章于 2024-08-05 09:15:32 发布
阅读量1.5k 收藏 7
点赞数
分类专栏： RocketMQ 文章标签： java-rocketmq rocketmq 中间件 消息队列 failover
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_14840559/article/details/129737975
版权

文章目录

需求

  • RocketMQ版本为5.1.0；

  • 搭建一个3主3从的集群，采用交叉部署（避免两台机器互为主从），节省机器资源；

  • 3个nameserver、1个exporter、1个dashboard；

  • 支持自动故障恢复，controller采用内嵌在nameserver中的方式部署；

  • 异步刷盘；

  • 主从切换时，不能丢消息

准备

机器准备：

  • 172.24.30.192
  • 172.24.30.193
  • 172.24.30.194

部署规划：

服务名IP端口
nameserver(controller-n0)172.24.30.19219876(controller: 19878)
nameserver(controller-n1)172.24.30.19319876(controller: 19878)
nameserver(controller-n2)172.24.30.19419876(controller: 19878)
broker-a172.24.30.19213210
broker-a-s172.24.30.19313210
broker-b172.24.30.19313220
broker-b-s172.24.30.19413220
broker-c172.24.30.19413230
broker-c-s172.24.30.19213230
dashboard172.24.30.19318281
exporter172.24.30.19218282

下载二进制文件包：https://rocketmq.apache.org/download/

nameserver

配置文件：

这里只是演示如何配置，所以只展示一个nameserver配置，其余的把controllerDLegerSelfId改成自己节点对应的即可，注意：这个参数是不能重复的。

# nameserver相关
listenPort = 19876
rocketmqHome = /neworiental/rocketmq-5.1.0/rocketmq-nameserver
useEpollNativeSelector = true
orderMessageEnable = true
serverPooledByteBufAllocatorEnable = true
kvConfigPath = /neworiental/rocketmq-5.1.0/rocketmq-nameserver/store/namesrv/kvConfig.json
configStorePath = /neworiental/rocketmq-5.1.0/rocketmq-nameserver/conf/nameserver.conf

# controller相关
enableControllerInNamesrv = true
controllerDLegerGroup = littleCat-Controller
controllerDLegerPeers = n0-172.24.30.192:19878;n1-172.24.30.193:19878;n2-172.24.30.194:19878
controllerDLegerSelfId = n0
controllerStorePath = /neworiental/rocketmq-5.1.0/rocketmq-controller/store
enableElectUncleanMaster = false
notifyBrokerRoleChanged = true

  • enableElectUncleanMaster: 是否支持选举在同步状态集之外的节点为master，如果设置为true，可能会丢消息

  • 修改conf目录下的rmq.namesrv.logback.xml，主要是批量修改日志路径，如果可以接受默认路径则忽略；

    • 提示：日志目录可以使用相对路径，这样可以一劳永逸，保证每个服务使用不同的目录即可；

  • 修改bin目录下的runserver.sh，主要修改GC日志文件路径、JVM启动参数：xmx、xms，如接受默认则忽略，默认为8G，如果是搭建测试的伪集群，小心机器扛不住；

启动脚本：

#!/bin/sh
. /etc/profile

nohup sh /neworiental/rocketmq-5.1.0/rocketmq-nameserver/bin/mqnamesrv -c /neworiental/rocketmq-5.1.0/rocketmq-nameserver/conf/nameserver.conf >/dev/null 2>&1 &
echo "startup nameserver..."

停止脚本：

如果一台机器上部署了多个nameserver，不要用这种方式：sh /neworiental/rocketmq-5.1.0/rocketmq-nameserver/bin/mqshutdown namesrv 去停止nameserver，这种方式会停止所有的nameserver

#!/bin/bash
. /etc/profile

PID=`ps -ef | grep '/neworiental/rocketmq-5.1.0/rocketmq-nameserver' | grep -v grep | awk '{print $2}'`
if [[ "" !=  "$PID" ]]; then
  echo "killing rocketmq-nameserver : $PID"
  kill $PID
fi

启动Broker前，把所有nameserver成功启动。

dashboard

略，见另一篇文章：https://blog.csdn.net/sinat_14840559/article/details/129737390?spm=1001.2014.3001.5501

Broker

官方的文档中提到：这种模式下，不需要指定brokerId和brokerRole，可以将所有节点的brokerRole设置为SLAVE，brokerId设置为-1（主从来回切换，手动配置的0其实也无效了）。所以先注册成功的broker即为master。

为了验证，最好先启动一组broker，确定功能符合预期之后，再启动全部broker。

思考：这种模式其实就不存在主从异步写(ASYNC_MASTER)了，主从同步是按Raft协议实现的。

broker-a主节点：

brokerClusterName = littleCat
brokerName = broker-a
brokerId = -1
listenPort = 13210
namesrvAddr = 172.24.30.192:19876;172.24.30.193:19876;172.24.30.194:19876;
# 开启controller支持
enableControllerMode = true
controllerAddr = 172.24.30.192:19878;172.24.30.193:19878;172.24.30.194:19878;
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
autoCreateTopicEnable = false
autoCreateSubscriptionGroup = false
maxTransferBytesOnMessageInDisk = 65536
rocketmqHome = /neworiental/rocketmq-5.1.0/broker-a
storePathConsumerQueue = /neworiental/rocketmq-5.1.0/broker-a/store/consumequeue
brokerIP2 = 172.24.30.192
brokerIP1 = 172.24.30.192
aclEnable = false
storePathRootDir = /neworiental/rocketmq-5.1.0/broker-a/store
storePathCommitLog = /neworiental/rocketmq-5.1.0/broker-a/store/commitlog
# 3000天：3600*24*3000
timerMaxDelaySec = 259200000
traceTopicEnable = true
timerPrecisionMs = 1000
timerEnableDisruptor = true

启动脚本：

#!/bin/bash
. /etc/profile

nohup sh /neworiental/rocketmq-5.1.0/broker-a/bin/mqbroker -c /neworiental/rocketmq-5.1.0/broker-a/conf/broker.conf >/dev/null 2>&1 &
echo "deploying broker-a..."

停止脚本：

#!/bin/bash
. /etc/profile

PID=`ps -ef | grep '/neworiental/rocketmq-5.1.0/rocketmq-broker-a' | grep -v grep | awk '{print $2}'`
if [[ "" !=  "$PID" ]]; then
  echo "killing rocketmq-5-broker-a : $PID"
  kill $PID
fi

broker-a从节点：

brokerClusterName = littleCat
brokerName = broker-a
brokerId = -1
listenPort = 13210
namesrvAddr=172.24.30.192:19876;172.24.30.193:19876;172.24.30.194:19876;
# 开启controller支持
enableControllerMode = true
controllerAddr = 172.24.30.192:19878;172.24.30.193:19878;172.24.30.194:19878;
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
autoCreateTopicEnable = false
autoCreateSubscriptionGroup = false
maxTransferBytesOnMessageInDisk = 65536
rocketmqHome=/neworiental/rocketmq-5.1.0/broker-a-s1
storePathConsumerQueue=/neworiental/rocketmq-5.1.0/broker-a-s1/store/consumequeue
brokerIP2=172.24.30.193
brokerIP1=172.24.30.193
aclEnable=false
storePathRootDir=/neworiental/rocketmq-5.1.0/broker-a-s1/store
storePathCommitLog=/neworiental/rocketmq-5.1.0/broker-a-s1/store/commitlog
# 3000天：3600*24*3000
timerMaxDelaySec=259200000
traceTopicEnable=true
timerPrecisionMs=1000
timerEnableDisruptor=true

启动两个broker后，观察dashboard，已经识别到broker-a的主从节点了：

将master节点kill掉之后，效果如下：

slave成功切换为master，重新启动kill掉的节点：

成为当前master的slave节点，符合预期，接下来就正常启动broker-b、broker-b-s、broker-c、broker-c-s完成集群搭建。

exporter

略，见另一篇文章：https://blog.csdn.net/sinat_14840559/article/details/119782996

对于最新版集群，最好下载新版本的exporter：https://github.com/apache/rocketmq-exporter

遇到的问题

  1. 同一台机器上部署多个broker时，后面启动的broker启动不成功，闪退：

原因：同一台机器上，两个broker的端口设置太相近，broker会开启几个端口来做内部通信，默认比配置的port少1和2，高版本的可能会占用更多，所以端口设置尽量相差大点，这个问题耽误了很久，日志中并没有说端口占用之类的提示，很不友好。

  1. 一组broker中，同时出现两个slave，其中一个日志正常，另一个报错： Error happen when change sync state set

原因：来回主从切换过程中导致内部维护的SyncStateSet出现问题，将两个broker停止，然后先先启动日志正常的broker，再启动日志报错的broker即可，如果先启动报错的broker，会选举master失败： CODE: 2012 DESC: The broker has not master, and this new registered broker can’t not be elected as master

写在最后

用了两年的K8S来管理集群，这次由于之前写的Operater不支持新版本集群，需要临时搭一个，尽管之前搭过很多次，但是不得不说，相较于手动搭建，K8S真的是方便太多了，手动搭建，再细心也会有纰漏，还要做systemd、资源协调等等。。。

手动搭建中间件集群，是一个精细活，一个小小的配置错误，就可能会让你陷入无限深渊，缠绕你很久排查不到，所以，准备工作很重要，把所有的文件、配置都先准备好，检查好，最后一气呵成即可。

这篇文章相对来说，只是把主要的流程过一下，详细的配置文件需要自己去CV一下，主要是验证新版本的Controller，要学习完整搭建流程的，可以参考：https://blog.csdn.net/sinat_14840559/article/details/108391651

喝不完一杯咖啡
关注
专栏目录
RocketMQ的Controller模式
qq_57756904的博客
09-08 1169
为了统一日志复制流程, 区分每一任 Master 的日志复制边界, 方便日志截断, 引入了 MasterEpoch 的概念, 代表当前 Master 的任期号 (类似 Raft Term 的含义)。 对于每一任 Master, 其都有 MasterEpoch 与 StartOffset, 分别代表该 Master 的任期号与起始日志位移。 需要注意的是, MasterEpoch 是由 Controller 决定的, 且其是单调递增的。
RocketMQ主备自动切换模式部署
weixin_42037822的博客
10-27 325
该模式下 会选举个节点为Master节点 其余节点为Slave机器A、B、C分别启动 Controller 部署 Controller 组件提供选主能力，若需要保证 Controller 具备容错能力，Controller 部署需要三副本及以上（遵循 Raft 的多数派协议）。Controller 部署有两种方式。此教程采用单独部署Controller机器A 机器B 机器C 启动独立部署的Controller组件 机器A、B、C Broker 部署 配置信息 机器A 机器B
2024最全RocketMQ集群方案汇总
最新发布
Hanko的专栏
08-05 771
....发现这些不一致，所以产生了一些疑问，然后去官方文档研究了一下。以下是官方文档英文版v4.x与v5.x可以明显看到v4.x的部署方法包括：单主模式、多主模式、多主多从模式-异步复制、多主多从模型-同步双写。并没有Local模式与Cluster模式之分。当然v4.x不要看中文版的，中文版的目录有点乱，并且v4.x的中文版文档用的又是v5.x的版本，不知道是不是官方没有维护v4.x中文版。
Rocketmq 5.1.0 controller高可用部署实战
念念不忘，必有回响
03-20 1867
总的来说部署还是相对简单，线上部署nameserver还是推荐最少3个节点，然后就是内存调大一点，nameserve不要和broker部署在一起。
RocketMQ5.1.0单机安装与启动
Java_Fly1的博客
03-05 3089
RocketMQ5.1单机安装与启动
【RocketMQ】RocketMQ 5.0新特性（三）- Controller模式
S-H_A-N
10-23 1253
JDK的动态代理实现原理是在运行中动态生成代理类，这个代理类实现了Subject接口，在对代理类进行实例化的时候，需要传入InvocationHandler，当调用代理类的方法时，会执行InvocationHandler的invoke方法，在invoke方法中再执行真正的目标方法，从而完成代理功能。
RocketMQ教程(八)：RocketMQ的集群搭建
十三月的博客
06-12 1322
RocketMQ 的各个组件都可以搭建成集群部署，Broker 还可以搭建成主从架构，下面介绍的主要是 Broker 集群。
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
rocketmq-all-5.1.0-bin-release.zip
02-21
综上所述，RocketMQ 5.1.0版本作为一个高效的消息中间件，不仅提供了丰富的消息模型和高级特性，还具有强大的稳定性和可扩展性，是构建大规模分布式系统的重要工具。通过深入理解和熟练运用RocketMQ，开发者可以构建...
rocketmq-all-5.1.0.zip
04-08
rocketmq5源码，该版本包含一些新特性： 1.延迟消息在版本4里面只能通过设置等级的粗粒度方式控制，在版本5里面可以直接设置延迟消息的具体时间，参数里面可以指定时间单位分钟或者秒； 2.延迟消息的等级18个： 1...
rocketmq-all-5.1.0-bin-release,rocketmq-console-ng-2.0.0.jar
11-20
rocketmq-all-5.1.0-bin-release rocketmq-console-ng-2.0.0.jar rocketmq-dashboard-1.0.0-source-release.zip
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
Docker-Compose 搭建 RocketMQ 5.1.0 集群 Docker-Compose 是一个流行的容器编排工具，可以快速搭建和管理容器集群。在这篇文章中，我们将使用 Docker-Compose 搭建一个 RocketMQ 5.1.0 集群，包括 NameServer、...
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
热门推荐
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
四选一？这-4-种高可用-RocketMQ-集群搭建方案，我推荐最后一种
03-14 821
其它面试题（springboot、mybatis、并发、java中高级面试总结等）链图片转存中…(img-RBn5MKDk-1710414794244)][外链图片转存中…(img-b5oW2gDu-1710414794244)]本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录。
rocketmq源码解析之NamesrvController启动①
chucuavins01156的专栏
08-18 335
说在前面 本次解析NamesrvController的启动过程。 源码解析 进入到这个方法org.apache.rocketmq.namesrv.NamesrvStartup#main0这一行start(controller);进入这个方法org.apache.rocketmq.n...
技术专栏——你所不知道的 RocketMQ 的集群管理：副本机制
huxian1234的专栏
01-13 1177
2022年，我开始涉足技术直播和技术讲师领域，并和博文视点合作几次技术直播，直播效果还不错，再加上我孜孜不倦的布道“Spring Cloud Alibaba微服务架构实战派上下册”这本书相关的技术，并且这些技术都是有助于“技术人”快速成长的，因此也获得了博文视点颁发的“2023技术成长领路人”这个技术奖项，这个奖项也是为了鼓励我继续通过技术直播的方式给技术人去布道技术，因此只要我有时间，我就会孜孜不倦的去讲和聊技术。
MQ - 23 RocketMQ集群架构设计与实现
小工匠
09-22 6009
我们今天来看看消息方向的 RocketMQ 在集群构建、部署形态、数据可靠性、安全控制、可观测性等五个方面的设计实现在集群构建方面，节点发现是依赖 NameServer 完成的。元数据是存储在本地 Broker，在启动时上报到 NameServer 中的。在部署模式方面，RocketMQ 经历了 Master/Slave、Dledger、Controller 三种模式。其中 Controller 模式属于消息队列中常见的架构形式。在数据可靠性方面，RocketMQ 也是依赖副本来实现数据的高可靠。
rocketmq源码解析namesrvController启动③
chucuavins01156的专栏
08-24 179
说在前面 接着上面的介绍namesrvController启动 源码解析 返回方法，处理请求，org.apache.rocketmq.remoting.netty.NettyRemotingAbstract#processRequestCommand public void p...
使用docker-compose部署RocketMQ 5.1.0集群(双主双从)
通过这种方式，利用docker-compose，可以方便地自动化部署和管理RocketMQ集群，简化了传统的手动安装和配置过程，提高了部署效率，并且易于维护和扩展。在实际生产环境中，可以根据需要调整集群规模和配置，以满足...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值