RocketMQ搭建双主双从同步复制报错

最新推荐文章于 2023-11-04 23:06:45 发布
置顶 最新推荐文章于 2023-11-04 23:06:45 发布
阅读量1k 收藏 4
点赞数 3
分类专栏： # RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN877425287/article/details/112626626
版权

前言

最近在整合RocketMQ，想丰富一下自己的技术栈！在整合RocketMQ的时候有些问题，特意拎出这篇文章把一些问题解决一下！

环境准备

1.防火墙关闭或者端口开放

# 关闭防火墙
systemctl stop firewalld.service 
# 查看防火墙的状态
firewall-cmd --state 
# 禁止firewall开机启动
systemctl disable firewalld.service

# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重启防火墙
firewall-cmd --reload

#`nameserver` 默认使用 9876 端口
#`master` 默认使用 10911 端口
#`slave` 默认使用11011 端口

2.hosts域名映射好

#nameserver
192.168.0.188 rocketmq-nameserver1
192.168.0.177 rocketmq-nameserver2
#broker
192.168.0.188 rocketmq-master1
192.168.0.188 rocketmq-slave2
192.168.0.177 rocketmq-master2
192.168.0.177 rocketmq-slave1

3.两台机器能够互相ping通
4.jdk1.8配置好
5.创建消息存储路径

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

6.双主双重配置文件

#192.168.0.188	master1	rocketmq/conf/2m-2s-sync/broker-a.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

##################################################################################
#192.168.0.188  slave2 	rocketmq/conf/2m-2s-sync/broker-b-s.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

##################################################################################
#192.168.0.177  master2   rocketmq/conf/2m-2s-sync/broker-b.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

##################################################################################
#192.168.0.177  slave1   rocketmq/conf/2m-2s-sync/broker-a-s.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

问题

1.启动NameServer、Broker无法启动
情况一：启动脚本内存划分太大，导致无法启动

#runserver.sh
vim rocketmq/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

#runbroker.sh
vi rocketmq/bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

情况二：启动脚本路径不对，这个需要切换到bin，这种情况日志没有反应，因为这个日志记录不在/root/logs/rocketmqlogs/broker.log，这里路径错了都不会再这里输出！这种情况日志需要在rocketmq-4.4.0/nohup.out下查看
在这里插入图片描述

2.NameServer正常启动，master1或者slave2的broker只能启动一个
报错信息如下：/root/logs/rocketmqlogs/broker.log

2021-01-14 17:33:19 WARN ShutdownHook - unregisterBroker Exception, rocketmq-nameserver1:9876
org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <rocketmq-nameserver1:9876> failed
        at org.apache.rocketmq.remoting.netty.NettyRemotingClient.invokeSync(NettyRemotingClient.java:392) ~[rocketmq-remoting-4.4.0.ja
        at org.apache.rocketmq.broker.out.BrokerOuterAPI.unregisterBroker(BrokerOuterAPI.java:248) ~[rocketmq-broker-4.4.0.jar:4.4.0]
        at org.apache.rocketmq.broker.out.BrokerOuterAPI.unregisterBrokerAll(BrokerOuterAPI.java:225) ~[rocketmq-broker-4.4.0.jar:4.4.0
        at org.apache.rocketmq.broker.BrokerController.unregisterBrokerAll(BrokerController.java:814) [rocketmq-broker-4.4.0.jar:4.4.0]
        at org.apache.rocketmq.broker.BrokerController.shutdown(BrokerController.java:757) [rocketmq-broker-4.4.0.jar:4.4.0]
        at org.apache.rocketmq.broker.BrokerStartup$1.run(BrokerStartup.java:235) [rocketmq-broker-4.4.0.jar:4.4.0]
        at java.lang.Thread.run(Thread.java:748) [na:1.8.0_212]
2021-01-14 17:33:19 WARN ShutdownHook - unregisterBroker Exception, rocketmq-nameserver2:9876
org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <rocketmq-nameserver2:9876> failed
        at org.apache.rocketmq.remoting.netty.NettyRemotingClient.invokeSync(NettyRemotingClient.java:392) ~[rocketmq-remoting-4.4.0.ja
        at org.apache.rocketmq.broker.out.BrokerOuterAPI.unregisterBroker(BrokerOuterAPI.java:248) ~[rocketmq-broker-4.4.0.jar:4.4.0]
        at org.apache.rocketmq.broker.out.BrokerOuterAPI.unregisterBrokerAll(BrokerOuterAPI.java:225) ~[rocketmq-broker-4.4.0.jar:4.4.0
        at org.apache.rocketmq.broker.BrokerController.unregisterBrokerAll(BrokerController.java:814) [rocketmq-broker-4.4.0.jar:4.4.0]
        at org.apache.rocketmq.broker.BrokerController.shutdown(BrokerController.java:757) [rocketmq-broker-4.4.0.jar:4.4.0]
        at org.apache.rocketmq.broker.BrokerStartup$1.run(BrokerStartup.java:235) [rocketmq-broker-4.4.0.jar:4.4.0]
        at java.lang.Thread.run(Thread.java:748) [na:1.8.0_212]

然后这里就会掉进这个报错的坑，就会抓住connect to rocketmq-nameserver2:9876 failed这个异常信息去找解决方案，网上关于这个问题的解决方案没有什么意义，因为造成这个问题的本质原因不在这个日志中，而是在/data/rocketmq-4.4.0/bin/nohup.out目录下的日志文件中，connect to rocketmq-nameserver2:9876 failed对应的问题日志如下！
在这里插入图片描述
然后只要顺着这个java.lang.RuntimeException: Lock failed,MQ already started报错信息的话就会找到storePath的配置问题，这个也就是消息存储路径的问题，一台机器中部署master和salve的时候使用的是同一个消息存储文件，那么就导致文件被锁住的问题，那么也就能解释master1和salve2只能启动其中一个的现象！

解决方案：从新创建一套消息存储路径

mkdir /usr/local/rocketmq/store1
mkdir /usr/local/rocketmq/store1/commitlog
mkdir /usr/local/rocketmq/store1/consumequeue
mkdir /usr/local/rocketmq/store1/index

然后修改master或者salve的消息存储路径即可

程序员劝退师-TAO
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
RocketMQ-3.5.8双主双从配置及部署说明
10-29
双主双从配置主要涉及到Broker节点，`RocketMQ笔记(2)_双主双从部署.pdf`应该详细介绍了这一过程： 1. 创建两个Broker实例，每个实例都配置为主节点和从节点。 2. 配置`broker.conf`文件，设置`brokerRole`为`ASYNC_...
一、双主双从同步集群搭建与测试
09-20
RocketMQ-externals-master可能包含了用于搭建和测试双主双从同步集群的相关源码和脚本，这些资源可以帮助开发者深入理解RocketMQ的工作原理，并且能够动手实践，进一步提升对高可用架构设计的理解和应用能力。...
springboot集成rocketMq 发送sync消息失败
qq_41170818的博客
11-04 97
重新启动mqbroker -n localhost:9876 -c …/conf/broker.conf。手动创建topic 无法访问localhost:10911。broker配置文件中配置brokerIP1=局域网ip。重新启动namesrv。
Rocketmq双master模式不互通问题registerBroker Exception
Enough1988的博客
05-17 632
解决办法： centos7：systemctlstopfirewalld关闭防火墙 转载于:https://www.cnblogs.com/codeLZC/p/10880104.html
rocketmq双主双从同步模式搭建集群
qq_42446113的博客
09-10 611
windows系统下两台centos7搭建rocketmq双主双从同步的集群时需要分别在两台机器的rocketmq安装目录下conf中的broker中配置当前连接的外网IP，就可以进行通信了 错误日志 2020-09-10 14:32:00 WARN ShutdownHook - unregisterBroker Exception, rocketmq-nameserver2:9876 org.apache.rocketmq.remoting.exception.RemotingConnectExcepti
rocketMQ主从同步复制SLAVE_NOT_AVAILABLE找不到可用的从节点
weixin_33623302的博客
01-13 1822
brokerIP1 String Broker服务地址 brokerIP2 String BrokerHAIP地址，供slave同步消息的地址 我没有配置brokerIP2 , 导致一直找不到可用的从节点。 参数具体代表什么意思参考链接：https://blog.csdn.net/dianhe7741/article/details/101870269 ...
Rocketmq详解02-mq安装
a2868221132的博客
06-23 2072
1.创建namesrv服务 拉取镜像 docker pull rocketmqinc/rocketmq:4.4.0 创建namesrv数据存储路径 mkdir -p /docker/rocketmq/data/namesrv/logs /docker/rocketmq/data/namesrv/store 构建namesrv容器 docker run -d \ --restart=always \ --name rmqnamesrv \ -p 9876:9876 \ -v /docker/rock
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
在CentOS-6.8 64bit下安装Rocketmq4.2.0，采用双主双从同步复制
03-14
从零开始安装Rocketmq4.2.0，采用双主双从同步复制。文档中第一步从安装操作系统开始；第二步，安装和配置所需要的工具和软件（vim, JDK，maven，git）；第三步，编译rocketmq4.2.0，安装和配置。
RocketMQ-3.5.8双主双从配置及编译包
10-29
RocketMQ-3.5.8双主双从配置文件、已编译安装包、部署文档和开发环境的基础项目。
rocketmq 安装 双主双从同步模式 报错org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to
daqu1314的博客
08-11 1226
org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <rocketmq-nameserver2:9876> failed at org.apache.rocketmq.remoting.netty.NettyRemotingClient.invokeSync(NettyRemotingClient.java:392) ~[rocketmq-remoting-4.4.0.jar:4.
rocketmq WARN BrokerControllerScheduledThread1 - registerBroker Exception
Flyer的后花园
08-29 3528
日志如下 这个是mq的服务器端打的日志 broker.log 2018-08-28 08:16:08 INFO BrokerControllerScheduledThread1 - slave fall behind master, how much, 0 bytes 2018-08-28 08:16:12 INFO BrokerControllerScheduledThread1 - regi...
rocketmq源码解析broker启动③
chucuavins01156的专栏
08-24 396
说在前面 broker启动 源码解析 返回方法，取消注册broker，org.apache.rocketmq.broker.BrokerController#unregisterBrokerAll private void unregisterBrokerAll() {// ...
rocketmq学习笔记 五 源码之rocketmq-namesrv
akfly的专栏
12-08 4004
前面学习了rocketmq的例子，对它的一些功能和运行架构，有了进一步的了解。 今天来学习下 rocketmq-namesrv    rocketmq的注册中心 1.start 启动流程 配置类   NettyServerConfig和NamesrvConfig public class NettyServerConfig implements Clonea
RocketMQ 常见异常处理
热门推荐
蚩尤后裔-汪茂雄
08-11 4万+
目录 MQClientException: No route info of this topic, TopicTest1 异常说明 解决办法 RemotingTooMuchRequestException: sendDefaultImpl call timeout 异常说明 解决办法 MQClientException: No route info of this topic, T...
启动RocketMQ中broker失败的原因
阿一在线的博客
03-16 4322
自己在linux环境中搭建的RocketMQ集群，在学习中RocketMQ中，启动时，第一步broker master启动成功，第二步启动broker slave则一直失败。 查找了很久终于找到原因，在此记录。 存在的问题：在配置双主双从集群时，配置文件中相关的存储路径需要区分，主节点、从节点的数据不能保存在同一个目录下 在此附上主从节点的配置文件： 主节点master # 所属集群名字 brokerClusterName=rocketmq-cluster # broker名字，注意此处不同的配
新特性：这招牛逼，Spring Boot 2.3.0 如何优雅停机？
良月柒
05-28 1905
程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 2.8 分钟。本文作者：冷冷gg原文地址：juejin.im/post/5ec1d89de51d454ddf2367...
rocketmq 双主部署
最新发布
06-20
RocketMQ双主部署是指在一个RocketMQ集群中，有两个Broker分别作为主节点，同时拥有相同的Topic和Queue，以实现高可用性和负载均衡。在双主部署中，每个Broker都可以独立地处理消息，当其中一个Broker出现故障时，另...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员劝退师-TAO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值