RocketMQv4.9.0双主双从同步集群搭建

最新推荐文章于 2024-02-28 11:02:43 发布
最新推荐文章于 2024-02-28 11:02:43 发布
阅读量423 收藏 3
点赞数 2
分类专栏： rocketmq 文章标签： linux apache java 消息队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43278717/article/details/121652008
版权

1、服务器环境

序号IP角色
1192.168.1.1nameserver1、master1、slave2
2192.168.1.2nameserver2、master2、slave1

java环境：jdk1.8

2、下载压缩包并解压

下载地址：https://archive.apache.org/dist/rocketmq/4.9.0/rocketmq-all-4.9.0-source-release.zip
解压：

unzip rocketmq-all-4.9.0-bin-release.zip

移动并重命名（移动至方便操作位置）：

mv rocketmq-all-4.9.0-bin-release /home/rocketmq

3、环境变量配置

1、打开环境配置：

vim /etc/profile

在文件末尾添加：

#set rocketmq
ROCKETMQ_HOME=/home/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

输入:wq! 保存并退出， 并使得配置立刻生效：

source /etc/profile

2、host添加信息

vim /etc/hosts

添加如下信息：

# nameserver
192.168.1.1 rocketmq-nameserver1
192.168.1.2 rocketmq-nameserver2
# broker
192.168.1.1 rocketmq-master1
192.168.1.1 rocketmq-slave2
192.168.1.2 rocketmq-master2
192.168.1.2 rocketmq-slave1

配置完成后, 重启网卡：

systemctl restart network

3、java环境变量配置参考，需配置jre不然后续启动会报错

export JAVA_HOME=/usr/java/jdk1.8.0_102
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$ROCKETMQ_HOME/bin:$PATH

4、创建消息存储路径（后续配置文件需要填写此处路径)

mkdir /home/rocketmq-store
mkdir /home/rocketmq-store/master
mkdir /home/rocketmq-store/master/commitlog
mkdir /home/rocketmq-store/master/consumequeue
mkdir /home/rocketmq-store/master/index

mkdir /home/rocketmq-store/slave
mkdir /home/rocketmq-store/slave/commitlog
mkdir /home/rocketmq-store/slave/consumequeue
mkdir /home/rocketmq-store/slave/index

5、broker配置文件

config文件解释
在这里插入图片描述
我们搭建的是双主双从同步进入到2m-2s-sync
在这里插入图片描述

6、修改配置文件

1、192.168.1.1服务器修改master1：

vi /home/rocketmq/conf/2m-2s-sync/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样，同一个主从节点使用同一个名字
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-store/master
#commitLog 存储路径 【commitLog存储真正消息的路径】
storePathCommitLog=/home/rocketmq-store/master/commitlog
#消费队列存储路径存储路径【每条信息在commitLog存储的路径】
storePathConsumeQueue=/home/rocketmq-store/master/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-store/master/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-store/master/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-store/master/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

2、192.168.1.1服务器修改slave2：

vi /home/rocketmq/conf/2m-2s-sync/broker-b-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样，同一个主从节点使用同一个名字
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-store/slave
#commitLog 存储路径
storePathCommitLog=/home/rocketmq-store/slave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/rocketmq-store/slave/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-store/slave/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-store/slave/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-store/slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3、192.168.1.2服务器修改master2

vi /home/rocketmq/conf/2m-2s-sync/broker-b.properties

#所属集群名字
 brokerClusterName=rocketmq-cluster
  #broker名字，注意此处不同的配置文件填写的不一样
 brokerName=broker-b
  #0 表示 Master，>0 表示 Slave
 brokerId=0
  #nameServer地址，分号分割
 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
  #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
 defaultTopicQueueNums=4
  #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
 autoCreateTopicEnable=true
  #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
 autoCreateSubscriptionGroup=true
  #Broker 对外服务的监听端口
 listenPort=10911
  #删除文件时间点，默认凌晨 4点
 deleteWhen=04
  #文件保留时间，默认 48 小时
 fileReservedTime=120
  #commitLog每个文件的大小默认1G
 mapedFileSizeCommitLog=1073741824
  #ConsumeQueue每个文件默认存30W条，根据业务情况调整
 mapedFileSizeConsumeQueue=300000
  #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #检测物理文件磁盘空间
 diskMaxUsedSpaceRatio=88
  #存储路径
 storePathRootDir=/home/rocketmq-store/master
  #commitLog 存储路径
 storePathCommitLog=/home/rocketmq-store/master/commitlog
  #消费队列存储路径存储路径
 storePathConsumeQueue=/home/rocketmq-store/master/consumequeue
  #消息索引存储路径
 storePathIndex=/home/rocketmq-store/master/index
  #checkpoint 文件存储路径
 storeCheckpoint=/home/rocketmq-store/master/checkpoint
  #abort 文件存储路径
 abortFile=/home/rocketmq-store/master/abort
  #限制的消息大小
 maxMessageSize=65536
  #flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000
 #Broker 的角色
 #- ASYNC_MASTER 异步复制Master
 #- SYNC_MASTER 同步双写Master
 #- SLAVE
 brokerRole=SYNC_MASTER
  #刷盘方式
 #- ASYNC_FLUSH 异步刷盘
 #- SYNC_FLUSH 同步刷盘
 flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4、192.168.1.2服务器修改slave1

vi /home/rocketmq/conf/2m-2s-sync/broker-a-s.properties

#所属集群名字
 brokerClusterName=rocketmq-cluster
  #broker名字，注意此处不同的配置文件填写的不一样
 brokerName=broker-a
  #0 表示 Master，>0 表示 Slave
 brokerId=1
  #nameServer地址，分号分割
 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
  #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
 defaultTopicQueueNums=4
  #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
 autoCreateTopicEnable=true
  #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
 autoCreateSubscriptionGroup=true
  #Broker 对外服务的监听端口
 listenPort=11011
  #删除文件时间点，默认凌晨 4点
 deleteWhen=04
  #文件保留时间，默认 48 小时
 fileReservedTime=120
  #commitLog每个文件的大小默认1G
 mapedFileSizeCommitLog=1073741824
  #ConsumeQueue每个文件默认存30W条，根据业务情况调整
 mapedFileSizeConsumeQueue=300000
  #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #检测物理文件磁盘空间
 diskMaxUsedSpaceRatio=88
  #存储路径
 storePathRootDir=/home/rocketmq-store/slave
  #commitLog 存储路径
 storePathCommitLog=/home/rocketmq-store/slave/commitlog
  #消费队列存储路径存储路径
 storePathConsumeQueue=/home/rocketmq-store/slave/consumequeue
  #消息索引存储路径
 storePathIndex=/home/rocketmq-store/slave/index
  #checkpoint 文件存储路径
 storeCheckpoint=/home/rocketmq-store/slave/checkpoint
  #abort 文件存储路径
 abortFile=/home/rocketmq-store/slave/abort
  #限制的消息大小
 maxMessageSize=65536
  #flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000
 #Broker 的角色
 #- ASYNC_MASTER 异步复制Master
 #- SYNC_MASTER 同步双写Master
 #- SLAVE
 brokerRole=SLAVE
  #刷盘方式
 #- ASYNC_FLUSH 异步刷盘
 #- SYNC_FLUSH 同步刷盘
 flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

7、修改环境变量（土豪请绕道）

需要根据内存大小进行适当的对JVM参数进行调整：
编辑runserver.sh：

vim /home/rocketmq/bin/runserver.sh

修改为这一行（参考）：

#java开发环境配置
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

编辑runbroker.sh：

vim /home/rocketmq/bin/runbrock.sh

# 开发环境配置 JVM Configuration
 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

8、服务启动与关闭、查看是否启动成功

1、分别启动服务器的nameserve，启动顺序可随意调整

cd /home/rocketmq/bin
nohup sh mqnamesrv >namesrv.log &

nohup & 后台启动方式，并将日志重定向打印至namesrv.log，下同
2、分别启动服务器的master、slave
192.168.1.1服务器：

cd /home/rocketmq/bin
nohup sh mqbroker -c /home/rocketmq/conf/2m-2s-sync/broker-a.properties >master.log &
nohup sh mqbroker -c /home/rocketmq/conf/2m-2s-sync/broker-b-s.properties >slave.log &

192.168.1.2服务器：

nohup sh mqbroker -c /home/rocketmq/conf/2m-2s-sync/broker-b.properties >master.log &
nohup sh mqbroker -c /home/rocketmq/conf/2m-2s-sync/broker-a-s.properties >slave.log &

3、jps查看服务是否启动
在这里插入图片描述
4、mqadmin命令查看集群情况

/home/rocketmq/bin/mqadmin clusterList -n localhost:9876：

在这里插入图片描述

这里表示我们的整个集群已经启动成功了
若启动失败可查看环境变量是否配置正确、尤其是JAR环境，容易被忽视

5、服务的关闭
前面我们是以 nohup & 方式启动，这种方式会使得程序一直保存在后台运行
我们使用mqshutdown命令关闭集群
关闭nameserver:

/home/rocketmq/bin/mqshutdown namesrv

在这里插入图片描述
我们可以看到已经关闭nameserver
接下来关闭broker:

/home/rocketmq/bin/mqshutdown broker

在这里插入图片描述
此命令关闭了所有的broker，包括master和slave

设置成系统服务启动、开机启动可参考另一篇文章：https://blog.csdn.net/qq_43278717/article/details/121656946
可视化界面可参考： https://blog.csdn.net/qq_43278717/article/details/121654964

wfh小黑屋里的小黄花
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Centos7 部署 RocketMQ 高可用集群
专注基础架构领域
12-02 1603
Centos7 部署 RocketMQ 高可用集群。将原来的配置内容全部注释掉（之后的properties配置文件都得这样）发送成功后我们可以到控制台查看消息和消费情况等信息。10.0.61.12上操作。10.0.61.21上操作。10.0.61.21上操作。10.0.61.22上操作。10.0.61.22上操作。10.0.61.21上操作。10.0.61.21上操作。
RocketMQ服务中各端口号说明
热门推荐
Taiyii的博客
06-29 2万+
要开放的端口一般有4个：9876，10911，10912，10909作用说明
RocketMQ（一）
Eriksen的博客
10-02 1773
RocketMQ
rocketmq常用端口（需开放端口）
k_c123456的博客
02-28 2342
10909：fastRemotingServer使用的监听端口，与remotingServer类似，vipChannelEnabled开启时，消息发送到fastRemotingServer。使用中遇到的场景：10911端口未开发，消费者订阅进行消费时，无消息可消费，查看客户端日志发现getConsumerIdListByGroup exception失败。9876：NameServer通信端口。客户端通过该端口与NameServer通信。rocketmq 常用默认端口：9876、10911、10909。
【RocketMQ每日一问】RocketMQ中都开启了哪些端口，分别是做什么的?
FJJJJJ
01-21 2075
ocketMQ中都开启了哪些端口，分别是做什么的
rocketmq中broker的端口
多看多听多总结
07-19 6765
rocketmq中broker的端口
解决glide4.9.0无法加载https图片问题
04-11
直接放在项目中使用 添加好文件后 在mainfests中声明一下就可以了
SolrCloud4.9.0+tomcat7+zookeeper-3.4.6搭建教程
07-02
SolrCloud4.9.0+Tomcat7+Zookeeper3.4.6搭建教程 SolrCloud是Apache Lucene项目下的一个基于分布式搜索引擎，通过将多个Solr实例组合成一个集群，可以实现高可用性和高性能的搜索系统。Tomcat是Apache软件基金会的...
gcc-4.9.0.zip
03-08
本资源是gcc-4.9.0的源码以及mpfr-2.4.2，gmp-4.3.2，mpc-0.8.1，isl-0.12.2，cloog-0.18.1这5个依赖包，5个依赖包只要放在解压目录下，并以去掉版本号重命名，则无需在安装过程中联网下载依赖包，若不懂如何操作，...
opencv4.9.0 + opencv-contrib-4.9.0 源码
最新发布
06-06
在本文中，我们将深入探讨OpenCV 4.9.0版本及其附加模块opencv_contrib-4.9.0的源代码，这两个组件都是进行深度学习、图像识别、图像分析和其他视觉任务的重要资源。 OpenCV 4.9.0是该库的一个关键版本，它包含了...
opencv-4.9.0
01-31
opencv-4.9.0内容： opencv-4.9.0-android-sdk.zip opencv-4.9.0-docs.zip opencv-4.9.0-ios-framework.zip opencv-4.9.0-windows.exe opencv-4.9.0.tar.gz opencv-4.9.0.zip
RocketMQ集群搭建
yanyf的博客
12-24 272
各角色介绍 Producer：消息的发送者，举例：发信者 Consumer：消息的接收者，举例：收信者 Broker：暂存和传输消息，举例：邮局 NameServer：管理Broker，举例：各个邮局的管理机构 Topic：区分消息的种类，一个发送者可以发送消息给一个或多个Topic，一个消息的接收者可以订阅一个或者多个Topic消息 MessageQueue：相当于是Topic的...
RocketMQ 5.0部署你需要开通的端口在这里
念念不忘，必有回响
04-27 2966
这里是weihubeats,觉得文章不错可以关注公众号，文章首发。拒绝营销号，拒绝标题党。
RocketMQ集群配置
u011197085的博客
07-05 1733
请注意，这些是默认的端口，你可以在RocketMQ的配置文件中修改这些端口。同时，如果你运行了多个broker实例或namesrv实例，那么每个实例需要使用不同的端口。在这种情况下，你可以分别为每个Broker实例创建一个配置文件，并在每个文件中指定相应的Namesrv地址、Broker名称和角色（Master或Slave）。例如，如果你使用了不同的配置文件或者命令选项，那么你需要在。在这些命令的输出中，你可以看到启动Namesrv和Broker的命令，以及关联的进程ID。
Liunx环境 安装RocketMQ服务+自定义端口号+搭建集群模式(多主多从)+整合Rocketmq-dashboard控制台
qq_39648078的博客
10-28 1681
准备2台服务器，分别在2台服务器安装RocktMQ。http://地址:8080/#/cluster。自定义日志文件输出位置。
RocketMQ学习经验-环境搭建篇
Chrisyqw的博客
05-31 409
RocketMQ学习经验
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 317
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
RocketMQ基础
yisuyanyu的博客
05-27 643
1. MQ介绍 ##1.1 为什么要用MQ 消息队列是一种“先进先出”的数据结构 其应用场景主要包含以下3个方面 应用解耦 系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。 使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下..
echarts双Y双X对比图实例
04-22
好的，让我来为您展示一个echarts双Y双X对比图实例： ```html <div id="chart" style="width: 800px;height:600px;"></div> <script src="https://cdn.bootcdn.net/ajax/libs/echarts/4.9.0/echarts.min.js"></script> <script type="text/javascript"> var myChart = echarts.init(document.getElementById('chart')); var option = { title: { text: '双Y双X对比图实例' }, tooltip: { trigger: 'axis' }, xAxis: [ { type: 'category', data: ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun'] }, { type: 'category', show: false, data: ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun'] } ], yAxis: [ { type: 'value', name: '收入', position: 'left', axisLabel: { formatter: '{value} 元' } }, { type: 'value', name: '支出', position: 'right', axisLabel: { formatter: '{value} 元' } } ], series: [ { name: '收入', type: 'bar', data: [2000, 2500, 3000, 3500, 4000, 4500, 5000], itemStyle: { normal: { color: '#8bc34a' } } }, { name: '支出', type: 'bar', data: [1200, 1600, 1800, 2000, 2200, 2500, 3000], itemStyle: { normal: { color: '#f44336' } } } ] }; myChart.setOption(option); </script> ``` 这个实例展示了如何用echarts创建一个双Y双X对比图。该图显示了一周中每天的收入和支出情况，其中收入用绿色柱状图表示，支出用红色柱状图表示，左侧Y轴表示收入，右侧Y轴表示支出，X轴表示每天。通过这个实例，你可以了解到如何使用echarts创建双Y双X对比图，以及如何设置X轴、Y轴、柱状图样式等相关属性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值