工具之《rocketmq-安装部署（双master模式）》

最新推荐文章于 2024-03-08 20:10:09 发布

csj50

最新推荐文章于 2024-03-08 20:10:09 发布

阅读量476

点赞数

分类专栏：工具

本文链接：https://blog.csdn.net/csj50/article/details/102939936

版权

工具专栏收录该内容

54 篇文章 3 订阅

订阅专栏

一、环境
IP：192.168.12.6（broker-a）、192.168.12.8（broker-b）
系统：CentOS Linux
JDK版本：JDK1.8
Rocketmq版本：Version 4.5.2

1、安装JDK
将jdk-8u172-linux-x64.tar.gz上传至/opt目录，解压至当前目录

tar -zxvf jdk-8u172-linux-x64.tar.gz

2、/etc/profile添加

JAVA_HOME=/opt/jdk1.8.0_172
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH

二、安装rocketmq
1、建立目录

mkdir -p /appserver/software

2、下载

cd /appserver/software
wget http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.5.2/rocketmq-all-4.5.2-bin-release.zip

3、解压

unzip rocketmq-all-4.5.2-bin-release.zip
mv rocketmq-all-4.5.2-bin-release rocketmq

4、host文件修改（非常重要，配置文件根据此命名查找主机）
vi /etc/hosts
添加：

192.168.12.6 nameserver1
192.168.12.8 nameserver2

5、添加rocketmq环境变量
vi /etc/profile
添加：

export ROCKETMQ_HOME=/appserver/software/rocketmq
export PATH=$PATH:$ROCKETMQ_HOME/bin

6、默认数据文件路径

/appserver/software/rocketmq/store
/appserver/software/rocketmq/store/commitlog       #物理文件
/appserver/software/rocketmq/store/consumequeue    #逻辑队列
/appserver/software/rocketmq/store/index           #索引

7、修改日志文件路径
cd /appserver/logs/rocketmq
执行：

cd /appserver/software/rocketmq/conf && sed -i 's#${user.home}#/appserver/logs/rocketmq#g' *.xml

8、JVM参数调整
rocketmq默认堆内存大小是4G，机器内存太小会启动不起来，根据实际情况调整
cd /appserver/software/rocketmq/bin
将runserver.sh：

-server -Xms4g -Xmx4g -Xmn2g

改为

-server -Xms1g -Xmx1g -Xmn512m

将runbroker.sh：

-server -Xms8g -Xmx8g -Xmn4g

改为

-server -Xms1g -Xmx1g -Xmn512m

9、broker配置文件修改
rocketmq提供了默认的配置文件
在/appserver/software/rocketmq/conf目录下
2m-2s-async：两主两从，主从异步
2m-2s-sync：两主两从，主从同步
2m-noslave：两主

1）备份原文件

cd /appserver/software/rocketmq/conf/2m-noslave
mv broker-a.properties broker-a.properties.bak
mv broker-b.properties broker-b.properties.bak

2）编辑broker-a
vi broker-a.properties
填入：

#Broker所属哪个集群
brokerClusterName=rocketmq-cluster
#broker名字
brokerName=broker-a
#0表示Master，>0表示Slave，一个Master可以挂多个Slave，Master与Slave通过BrokerName来配对
brokerId=0
#Name Server地址
namesrvAddr=nameserver1:9876;nameserver2:9876
#一个Topic默认的队列数量
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker对外服务的监听端口，默认10911
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=48
#每个commitLog大小，默认1G
mapedFileSizeCommitLog=1073741824
#消费队列文件大小，默认为存储30W条消息
mapedFileSizeConsumeQueue=300000
#销毁MappedFile被拒绝的最大存活时间，默认120s
destroyMapedFileIntervalForcibly=120000
#重试删除文件间隔，配合destorymapedfileintervalforcibly
redeleteHangedFileInterval=120000
#commitlog目录所在分区的最大使用比例
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/appserver/software/rocketmq/store
#commitLog存储路径
storePathCommitLog=/appserver/software/rocketmq/store/commitlog
#consumequeue消费队列存储路径
storePathConsumeQueue=/appserver/software/rocketmq/store/consumequeue
#index消息索引存储路径
storePathIndex=/appserver/software/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/appserver/software/rocketmq/store/checkpoint
#abort文件存储路径
abortFile=/appserver/software/rocketmq/store/abort
#默认允许的最大消息体，单位为字节
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
#事务消息支持
checkTransactionMessageEnable=false
#服务端处理消息发送线程池数量
sendMessageThreadPoolNums=128
#服务端处理消息拉取线程池线程数量
pullMessageThreadPoolNums=128
# broker角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=ASYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

3）编辑broker-b
填入：

#Broker所属哪个集群
brokerClusterName=rocketmq-cluster
#broker名字
brokerName=broker-b
#0表示Master，>0表示Slave，一个Master可以挂多个Slave，Master与Slave通过BrokerName来配对
brokerId=0
#Name Server地址
namesrvAddr=nameserver1:9876;nameserver2:9876
#一个Topic默认的队列数量
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker对外服务的监听端口，默认10911
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=48
#每个commitLog大小，默认1G
mapedFileSizeCommitLog=1073741824
#消费队列文件大小，默认为存储30W条消息
mapedFileSizeConsumeQueue=300000
#销毁MappedFile被拒绝的最大存活时间，默认120s
destroyMapedFileIntervalForcibly=120000
#重试删除文件间隔，配合destorymapedfileintervalforcibly
redeleteHangedFileInterval=120000
#commitlog目录所在分区的最大使用比例
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/appserver/software/rocketmq/store
#commitLog存储路径
storePathCommitLog=/appserver/software/rocketmq/store/commitlog
#consumequeue消费队列存储路径
storePathConsumeQueue=/appserver/software/rocketmq/store/consumequeue
#index消息索引存储路径
storePathIndex=/appserver/software/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/appserver/software/rocketmq/store/checkpoint
#abort文件存储路径
abortFile=/appserver/software/rocketmq/store/abort
#默认允许的最大消息体，单位为字节
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
#事务消息支持
checkTransactionMessageEnable=false
#服务端处理消息发送线程池数量
sendMessageThreadPoolNums=128
#服务端处理消息拉取线程池线程数量
pullMessageThreadPoolNums=128
# broker角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=ASYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

10、相关概念
1）Name Server可集群部署，节点之间无任何信息同步。
2）Broker(消息中转角色，负责存储消息，转发消息)部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。
3）Producer与Name Server集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。
4）Consumer与Name Server集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave 发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。
5）Producer连Master是只连一个吗？
不是，向所有在线的broker master发送心跳，建立长连接
6）Consumer连Master、Slave是两个都连？
是的，和所有broker发送心跳，建立长连接
7）什么是异步复制Master、同步双写Master？
同步复制：同步复制是等Master和Slave均写成功后才反馈给客户端写成功状态
异步复制：异步复制是只要Master写成功即可反馈给客户端写成功状态
8）什么是异步刷盘、同步刷盘？
RocketMQ的消息是存储到磁盘上的，可以保证断电恢复
异步刷盘：写入内存，积累到一定量了，统一触发写入磁盘
同步刷盘：写入内存，立刻触发刷盘线程刷盘

11、启动nameserver
2台主机分别执行：

nohup sh /appserver/software/rocketmq/bin/mqnamesrv &

通过jps命令查看是否启动

4516 NamesrvStartup

12、在第一台主机执行（必须先启动nameserver才能启动broker）

cd /appserver/software/rocketmq/bin
nohup sh mqbroker -c /appserver/software/rocketmq/conf/2m-noslave/broker-a.properties > /dev/null 2>&1 &

在第二台主机执行（注意配置文件名不同）

nohup sh mqbroker -c /appserver/software/rocketmq/conf/2m-noslave/broker-b.properties > /dev/null 2>&1 &

通过jps命令查看是否启动

4516 NamesrvStartup
4669 BrokerStartup

13、关闭rocketmq
先停止BrokerServer，再停止NameServer
关闭broker服务：

sh /appserver/software/rocketmq/bin/mqshutdown broker

关闭namesrv服务：

sh /appserver/software/rocketmq/bin/mqshutdown namesrv

14、创建topic及订阅组
由于配置禁止自动创建Topic和订阅组，可以使用命令或者控制台创建
1）控制台项目地址
https://github.com/apache/rocketmq-externals
编译里面的一个子项目：rocketmq-console
编译出jar包：rocketmq-console-ng-1.0.1.jar
2）修改：rocketmq-console-ng-1.0.1.jar/BOOT-INF/classes/application.properties

rocketmq.config.namesrvAddr=nameserver1:9876;nameserver2:9876
server.port=8081

控台可以只部署在一台服务器上，存放路径/appserver/software/rocketmq-console
3）启动命令

cd /appserver/software/rocketmq-console
java -jar rocketmq-console-ng-1.0.1.jar > /appserver/logs/rocketmq/logs/mq-console.log 2>&1 &

4）访问地址：
http://192.168.12.6:8081

注意浏览器兼容性，建议用IE、Edge浏览器打开

参考资料：
linux下rocketmq部署，两主两从同步写模式配置
https://blog.csdn.net/u014211122/article/details/79712519
RocketMQ4.3.x 史上配置最全详解
http://www.likecs.com/show-47794.html
rocketmq异步复制or同步双写教程
https://www.2cto.com/net/201712/707802.html
rocketmq 同步刷盘、异步刷盘和同步复制、异步复制
https://www.cnblogs.com/toUpdating/p/10021372.html
RocketMq 集群搭建部署 (2m-2s-async)(二)
https://blog.csdn.net/weixin_40533111/article/details/84451219
rocketmq broker 参数配置集群配置
https://www.iteye.com/blog/m635674608-2336738

csj50

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
工具之《rocketmq-安装部署（双master模式）》

一、环境IP：192.168.12.6（broker-a）、192.168.12.8（broker-b）系统：CentOS LinuxJDK版本：JDK1.8Rocketmq版本：Version 4.5.21、安装JDK将jdk-8u172-linux-x64.tar.gz上传至/opt目录，解压至当前目录tar -zxvf jdk-8u172-linux-x64.tar.gz...
复制链接

扫一扫

专栏目录