RocketMQ 集群搭建

有朋友私信我，只搭建可视化界面，有没有rocketMQ的集群搭建教程呢？这里应小伙伴的要求。

rocketmq下载地址：

Apache rocketMq Downloads

1、集群架构说明

搭建一个双主双从异步复制的Broker集群。

为了方便，这里使用了两台主机来完成集群的搭建。 这两台主机的功能与broker角色分配如下表。

序号	主机名/IP	IP	功能	BROKER角色
1	rocketmq1	192.168.1.8	NameServer + Broker	Master1 + Slave2
2	rocketmq2	192.168.1.9	NameServer + Broker	Master1 + Slave2

2、配置rocketmq1

将主机名修改为rocketmq1（不修改也可，用ip作为区分）

3、上传mq二进制文件到/tools/rocketmq文件夹内，并解压

解压命令：unzip rocketmq-all-4.9.4-bin-release.zip

执行命令：cd /tools/rocketMq/rocketmq-all-4.9.4-bin-release/conf/2m-2s-async 进入到我们的配置文件目录

 修改broker-a.properties

# 指定整个broker集群的名称，或者说是RocketMQ集群的名称
brokerClusterName=DefaultCluster
# 指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群
brokerName=broker-a
# master的brokerId为0
brokerId=0
# 指定删除消息存储过期文件的时间为凌晨4点
deleteWhen=04
# 指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，将会被删除
fileReservedTime=48
# 指定当前broker为异步复制master
brokerRole=ASYNC_MASTER
# 指定刷盘策略为异步刷盘
flushDiskType=ASYNC_FLUSH
# 指定Name Server的地址
namesrvAddr=192.168.1.8:9876;192.168.1.9:9876

 修改broker-b-s.properties（注意这里千万不修改成了broker-a-s.properties）

brokerClusterName=DefaultCluster
# 指定这是另外一个master-slave集群
brokerName=broker-b
# slave的brokerId为非0
brokerId=1
deleteWhen=04
fileReservedTime=48
# 指定当前broker为slave
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.8:9876;192.168.1.9:9876
# 指定Broker对外提供服务的端口，即Broker与producer与consumer通信的端口。默认
# 10911。由于当前主机同时充当着master1与slave2，而前面的master1使用的是默认端口。这
# 里需要将这两个端口加以区分，以区分出master1与slave2
listenPort=11911
# 指定消息存储相关的路径。默认路径为~/store目录。由于当前主机同时充当着master1与
# slave2，master1使用的是默认路径，这里就需要再指定一个不同路径
storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort

除了上面的配置外，你还需要什么配置，可以在下面的配置文件中找到，添加到对应的配置文件内，附有详细说明

#指定整个broker集群的名称，或者说是RocketMQ集群的名称
brokerClusterName=rocket-MS
#指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=nameserver1:9876;nameserver2:9876
#默认为新建Topic所创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议生产环境中关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议生产环境中关闭
autoCreateSubscriptionGroup=true
#Broker对外提供服务的端口，即Broker与producer与consumer通信的端口
listenPort=10911
#HA高可用监听端口，即Master与Slave间通信的端口，默认值为listenPort+1
haListenPort=10912
#指定删除消息存储过期文件的时间为凌晨4点
deleteWhen=04
#指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，将会被删除
fileReservedTime=48
#指定commitLog目录中每个文件的大小，默认1G
mapedFileSizeCommitLog=1073741824
#指定ConsumeQueue的每个Topic的每个Queue文件中可以存放的消息数量，默认30w条
mapedFileSizeConsumeQueue=300000
#在清除过期文件时，如果该文件被其他线程所占用（引用数大于0，比如读取消息），此时会阻止
此次删除任务，同时在第一次试图删除该文件时记录当前时间戳。该属性则表示从第一次拒绝删除
后开始计时，该文件最多可以保留的时长。在此时间内若引用数仍不为0，则删除仍会被拒绝。不过
时间到后，文件将被强制删除
destroyMapedFileIntervalForcibly=120000
#指定commitlog、consumequeue所在磁盘分区的最大使用率，超过该值，则需立即清除过期文
件
diskMaxUsedSpaceRatio=88
#指定store目录的路径，默认在当前用户主目录中
storePathRootDir=/usr/local/rocketmq-all-4.5.0/store
#commitLog目录路径
storePathCommitLog=/usr/local/rocketmq-all-4.5.0/store/commitlog
#consumeueue目录路径
storePathConsumeQueue=/usr/local/rocketmq-all-4.5.0/store/consumequeue
#index目录路径
storePathIndex=/usr/local/rocketmq-all-4.5.0/store/index
#checkpoint文件路径
storeCheckpoint=/usr/local/rocketmq-all-4.5.0/store/checkpoint
#abort文件路径
abortFile=/usr/local/rocketmq-all-4.5.0/store/abort
#指定消息的最大大小
maxMessageSize=65536
#Broker的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE

4、配置rokcetmq2机器

将第二台主机名修改为rocketmq2（不修改也可，用ip作为区分）

5、同3步骤一样，上传文件解压，进入到相同目录内修改该配置文件

修改broker-b.properties

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.8:9876;192.168.1.9:9876

修改broker-a-s.properties

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.8:9876;192.168.1.9:9876
listenPort=11911
storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort

6、启动服务器

在启动服务器之前需要先修改配置文件

执行命令cd /tools/rocketMq/rocketmq-all-4.9.4-bin-release/bin 进入到文件夹内

修改runserver.sh

调整Name Server的内存 (默认是  JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m")

JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmxg -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

修改runbroker.sh

调整broker的内存（默认是  JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"）

 JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g"

修改完了以上两个启动文件，便可接下来启动Name Server了

启动NameServer集群

分别启动rocketmq1与rocketmq2两个主机中的NameServer。启动命令完全相同。

nohup sh bin/mqnamesrv &
tail -f nohup.out

启动两个Master，并指定配置文件名

服务器1 启动broker-a
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties > broker-a.log 2>&1 &

服务器2 启动broker-b
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties > broker-b.log 2>&1 &

启动两个Slave，并指定配置文件名

服务器1 启动 slave
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties > broker-b-s.log 2>&1 &
服务器2 启动 slave
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties > broker-a-s.log 2>&1 &

好了问题解决了，如果对你解决问题有帮助，请动动你的小手，点个赞。

更多编程内容，请扫码关注《coder练习生》，如果觉得有用，也可赠送作者一杯咖啡