rocketMQ-部署双Master方式

最新推荐文章于 2024-07-12 12:07:44 发布
最新推荐文章于 2024-07-12 12:07:44 发布
阅读量847 收藏 4
点赞数
分类专栏： （15）MQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wen_005/article/details/89403365
版权

 

服务器环境

主要用到以下两台服务器来做双master集群

服务器：

序号

IP(公)

IP(内)

用户名

密码

角色

模式

备注

1

192.168.1.151

 

root

root

nameServer1

brokerServer1

Master1

服务：

 

应用App：

 

2

192.168.1.152

 

root

root

nameServer2

brokerServer2

Master2

服务：

 

应用App：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

操作过程：

安装包已经上传至其中1个节点

 

两个服务器解压安装都一样

1、解压缩安装包

命令：

unzip rocketmq-all-4.2.0-bin-release.zip -d /usr/local/rocketmq

-d表示解压到指定目录

解压缩之后如下（如没按unzip,则安装unzip命令是：yum install -y unzip zip）：

2、创建存储路径【两台服务器】

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

3、RocketMQ配置文件【两台机器】

为了方便管理配置文件，每台服务器的配置都创建一份其他服务器的配置文件，如果需要修改配置内容，则在任一 一台服务器中修改相应的配置文件，然后把该台的所有配置文件拷贝覆盖到其他服务器就行。

vim /usr/local/rocketmq/conf/2m-noslave/broker-a.properties
vim /usr/local/rocketmq/conf/2m-noslave/broker-b.properties

配置broker-a.properties 


#所属集群名字
brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样 （broker-b.properties的这里改成broker-b）
brokerName=broker-a
#0 表示 Master，>0 表示 Slave 
brokerId=0
#nameServer地址，分号分割
#namesrvAddr=rocketmq-nameserver:9876;rocketmq-nameserver2:9876
namesrvAddr=192.168.1.151:9876;192.168.1.152:9876
#可选，该配置默认从系统可用地址中选择一个；
#在某些场景可以手动配置ip，例如程序运行在虚拟机中外部无法访问默认地址，或者用来解决docker本地ip外部无法访问的问。
brokerIP1=192.168.1.151
#可选，broker的ha地址，其用途同上，不过一般不需要配置
#brokerIP2=192.168.1.152

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口 
listenPort=10911
#删除文件时间点，默认凌晨 4点 
deleteWhen=04
#文件保留时间，默认 48 小时 
fileReservedTime=120
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88
#存储路径 
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径 
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径 
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小 
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色 
#- ASYNC_MASTER  异步复制Master 
#- SYNC_MASTER  同步双写Master 
#- SLAVE 
brokerRole=ASYNC_MASTER
#刷盘方式 
#- ASYNC_FLUSH  异步刷盘 
#- SYNC_FLUSH  同步刷盘 
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128lushDiskType=ASYNC_FLUSH

配置broker-b.properties

#所属集群名字
brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样 （broker-b.properties的这里改成broker-b） 
brokerName=broker-b
#0 表示 Master，>0 表示 Slave 
brokerId=0
#nameServer地址，分号分割
#namesrvAddr=rocketmq-nameserver:9876;rocketmq-nameserver2:9876
namesrvAddr=192.168.1.151:9876;192.168.1.152:9876
#可选，该配置默认从系统可用地址中选择一个；
#在某些场景可以手动配置ip，例如程序运行在虚拟机中外部无法访问默认地址，或者用来解决docker本地ip外部无法访问的问。
brokerIP1=192.168.1.152
#可选，broker的ha地址，其用途同上，不过一般不需要配置
#brokerIP2=192.168.1.152

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口 
listenPort=10911
#删除文件时间点，默认凌晨 4点 
deleteWhen=04
#文件保留时间，默认 48 小时 
fileReservedTime=120
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88
#存储路径 
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径 
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径 
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小 
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色 
#- ASYNC_MASTER  异步复制Master 
#- SYNC_MASTER  同步双写Master 
#- SLAVE 
brokerRole=ASYNC_MASTER
#刷盘方式 
#- ASYNC_FLUSH  异步刷盘 
#- SYNC_FLUSH  同步刷盘 
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128lushDiskType=ASYNC_FLUSH

 

将2个配置文件远程拷贝到152服务器中：

命令：

scp /usr/local/rocketmq/conf/2m-noslave/broker-a.properties root@192.168.1.152:/usr/local/rocketmq/conf/2m-noslave/
scp /usr/local/rocketmq/conf/2m-noslave/broker-b.properties root@192.168.1.152:/usr/local/rocketmq/conf/2m-noslave/

 

4、修改日志配置文件，替换路径名【两台机器】

mkdir -p /usr/local/rocketmq/logs
cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

5、修改启动脚本参数【两台机器】

设置jvm最小、最大内存，如：

java -Xmx72g -Xms72 -Xmn4g -Xss256m
-Xmx72g:设置JVM最大可用内存为72g.
-Xms72g:设置JVM促使内存为72g.此值可以设置与-Xmx相同,以避免每次垃圾回收完成后JVM重新分配内存.
-Xmn4g:设置年轻代大小为rG.

-Xss256m:设置每个线程的堆栈大小

-XX:MaxPermSize=256m:设置持久代(即方法区)大小为256m.

-XX:PermSize设置非堆内存初始值,默认是物理内存的1/64;由XX:MaxPermSize设置最大非堆内存的大小,默认是物理内存的1/4.

 

vim /usr/local/rocketmq/bin/runbroker.sh

#===========================================================================================
# JVM Configuration

#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

vim /usr/local/rocketmq/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m XX:PermSize=128m -XX:MaxPermSize=320m"

 

6、先启动NameServer【两台机器】

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &

7、在启动BrokerServer A【192.168.1.151】

cd /usr/local/rocketmq/bin

#启动mqbroker服务
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties &

#查看端口
netstat -ntlp

#查看进程
jps

#查看日志
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

8、启动BrokerServer B【192.168.1.152】

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties &

netstat -ntlp

jps

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

 

9、防火墙开发端口

如果报连接异常，请把9876端口添加到防火墙白名单或停止防火墙：

添加端口：firewall-cmd --permanent --add-port=9876/tcp

关闭防火墙：service firewalld stop

启动防火墙：service firewalld start

重启防火墙：firewall-cmd -–reload

防火墙启用状态：firewall-cmd –state

查看防火墙是否已开发：firewall-cmd --query-port=9876/tcp

查看所有打开的端口： firewall-cmd --list-ports

 

 

 

成功后显示：

 

先关闭所有的mq broker服务

sh /usr/local/rocketmq/bin/mqshutdown broker

再关闭所有的mq nameserv服务

sh /usr/local/rocketmq/bin/mqshutdown broker

 

 

 

10、启动rocketmq  web管理界面

下载管理页面项目，并打包为jar

下载： https://github.com/apache/rocketmq-externals.git

使用maven打包下载文件中的rocketmq-console-ng项目

进入rocketmq-console-ng项目根目录，执行：mvn clean package -Dmaven.test.skip=true

之后会生成一个rocketmq-console-ng-1.0.0.jar项目，该项目是一个springboot项目，可以使用java -jar rocketmq-console-ng-1.0.0.jar 启动项目。 

 

在项目的application.properties中配置namesrv地址

配置mq服务地址：

rocketmq.config.namesrvAddr=192.168.1.151:9876;192.168.1.152:9876

 

上传并启动，以下两种都可以

(1)nohup java -jar rocketmq-console-ng-1.0.0.jar &

(2)nohup java -jar rocketmq-console-ng-1.0.0.jar & > log.file 2>&1 &

 

防火墙开放端口，并重启防火墙，然后访问地址显示：

 

 

 

 

wen_005
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RocketMQ——部署(一)双Master方式
东天里的冬天
06-10 1147
一.上传RocketMQ对应的压缩包（官网可下）   1.上传 alibaba-rocketmq-3.2.6.tar.gz至两台服务器的/usr/local，我这边用的是虚拟机，两台服务器的内网IP分别为：192.168.140.128，192.168.140.129；    2.解压对应的包     执行如下命令：        tar -zxvf alibaba-rocketmq-3.2.6....
RocketMQ部署--双master方式
yjclsx的博客
07-31 388
1、服务器环境 序号 IP 用户名 角色 模式 1 192.168.100.24 root nameServer1,brokerServer1 Master1 2 192.168.100.25 root nameServer2,brokerServer2 Ma...
RocketMq（双master）
冬阳
12-18 358
1.搭建环境(一个集群无salve，全是master   也就是配置文件中的  2m-noslave)       配置两台机器   172.30.50.211:9876 （broker-a.properties）  172.30.50.214:9876(broker-b.properties)         1. 单个Master       很显然，这种方式风险较大，一旦Broker...
kubernetes部署rocketmq集群
最新发布
tingting0119的博客
07-12 311
在kubernetes上部署rocketmq5.2.0集群
rocketmq双Master集群模式搭建
qq_36902628的博客
11-09 735
环境介绍 服务器ip 环境 安装的服务 主机名 10.10.10.136 centos7 nameServer+broker nameserver1/master1 10.10.10.138 centos7 nameServer+broker nameserv..
rocketmq 双master模式
越自律越自由
01-09 2800
一、准备工作 github上下载安装包，为避免编译构建，可以直接下载二进制包 1、修改ip 参考 Linux环境快速搭建RocketMQ双Master模式给机器命名  修改文件  vi /etc/hosts，相互ping一下，检测是否配置有效 2、解压并创建软连接 解压到/usr/server目录下，并创建软连接ln -s alibaba-rocketmq rocketmq（需要到创建软...
rocketmq-externals-master
05-06
RocketMQ-Externals-Master项目提供的Web控制台是管理和运维RocketMQ不可或缺的工具，尤其对于大规模部署和复杂业务环境下的RocketMQ集群，能够极大地提高运维效率和问题排查速度。如果你遇到缺少`rocketmq-console`...
rocketmq-externals-master.zip
12-04
RocketMQ采用主从复制的集群架构，NameServer是无状态的，可以部署多台。每个Broker都可以配置为主或从，主Broker负责接收和存储消息，从Broker则通过同步或异步复制的方式备份数据。消费者可以采用Push模式（消息...
RocketMQ环境搭建-双master模式
chitangjun4304的博客
08-18 241
介绍: 　　多Master模式，一个集群无Slave，全是Master,例如2个Master或者3个Master。 　　优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢(异步刷盘...
rocketmq4.9.4 双Master双Slave模式-同步双写
2301_76903980的博客
05-19 492
rocketmq 高可用集群部署方案多master多slave模式-同步双写及图形界面dashboard源码安装
RocketMQ-部署双Master模式
qq_40102178的博客
06-01 649
> unzip rocketmq-all-4.7.0-source-release.zip > cd rocketmq-all-4.7.0/ > mvn -Prelease-all -DskipTests clean install -U > cd distribution/target/rocketmq-4.7.0/rocketmq-4.7.0
RocketMQ 集群搭建--双Master方案
weixin_30478619的博客
08-09 85
安装环境 　　jdk1.7 　　alibaba-rocketmq-3.2.6.tar.gz 　　VM虚拟机redhat6.5-x64：192.168.1.201192.168.1.202 　　Xshell4 部署方案 序号 IP 角色 模式 1 192.168.1.201 nameServer1,brokerServer1 Master1 ...
rocketMQ双Master模式环境搭建
隐居者
06-10 974
两个节点内容一样 启动两台机器一台192.168.1.111一台192.168.112并且同时修改/etc/host文件内容 修改命令 vim /etc/hosts   192.168.1.111 rocketmq-nameserver1 192.168.1.111 rocketmq-master1   192.168.1.112 rocketmq-nameserver2 192...
RocketMQ实战-双master模式集群搭建
白话机器学习
08-11 131
添加hosts信息编辑主机名,master可有可可无但nameserver必须配置​​​​​上传解压安装java(不再赘述)安装rocketmq解压​重命名,增加版本标识建立软连接​创建存储路径(rocketmq数据的存储位置),此处在软连接下简历store -​修改rocketmq配置文件(双master模式)进入conf目录下后会发现2m-2s-async,2m-2s-sync,2m-noslave等模式,我们需要需要配置2m-noslave文件。
RocketMQ简介以及双Master模式的配置
u014182745的专栏
08-14 3168
1、RocketMQ介绍 （最开始RocketMQ是阿里研究出来的，在2016-11-28捐赠给了开源软件基金会Apache。）1.1. 简介 RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点：能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 选用理由：  强调集群无单点，可扩展，任意一点高可用，水平可扩
RocketMQ 配置双master
帅大叔的博客
06-26 599
RocketMQ 配置多master 一、准备工作 1、虚拟机安装两台 Centos7 2、jdk8 3、maven 3.5.0 4、git 二、下载并编译 git clone -b develop https://github.com/apache/incubator-rocketmq.git cd incubator-rocketmq mvn -Pre...
RocketMQ初探(五)之RocketMQ4.2.6集群部署（单Master+双Master+2m+2s+async异步复制）
weixin_30387663的博客
08-10 162
　　以下部署方式结合众多博友的博客，经过自己一步一步实际搭建，如有雷同，侵权行为，请见谅。。。其中遇到不少的坑，希望能帮到更多的人，现在很少能找到一份完整版4.2.6版本的搭建教程了，如果你有幸遇见，那么我们必定前世有缘。进入正题…… 　　首先，官方推荐有三种部署方式：　　 多Master模式（2m-noslave） 一个集群无Slave，全是Master，例如2个Master或者3个Mas...
RocketMQ集群搭建
删繁就简三秋树
05-06 300
rocketmq 是一款分布式、队列模型的消息中间件-能保证消息的顺序消费、消息拉取模式、高效的订阅者水平扩展能力、实时消息订阅机制、亿级消息堆积能力。 选择的理由：强调集群无单节点，可扩展，任意一点高可用，水平可扩展。 海量消息堆积能力，消息堆积后，写入低延迟。 支持上万个队列。 消息失败重试机制。 消息可查询。 RocketMQ 集群方式 1.多Master 多Slave 模式， 异步复制 –...
Rocketmq主从同步机制
wxy951218的博客
11-10 675
Rocketmq主从同步机制
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值