rocketMQ集群双主双从同步模式(2m-2s-sync)搭建

最新推荐文章于 2024-07-24 10:41:14 发布
最新推荐文章于 2024-07-24 10:41:14 发布
阅读量1.4k 收藏 4
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39643007/article/details/103602850
版权

1.去apache官网（ http://rocketmq.apache.org/release_notes/release-notes-4.6.0/）下载最新的rocketmq发行版，我用的是4.6版本（  rocketmq-all-4.6.0-bin-release.zip） 如下图：

 

 

2.将下载后的二进制包（zip）上传到服务器目录之中，然后进行解压   解压命令为：unzip rocketmq-all-4.6.0-bin-release.zip

如果报错bash: unzip: command not found   则说明没有unzip命令  可先安装，命令为：yum -y install unzip   我的包目录为/home/zhipeng/rocketMQ   

 

3.我们想要规划的环境如下：

序号IP角色架构模式
1192.168.108.128nameserver,brokerserverMaster1,Slave2
2192.168.108.129

nameserver,brokerserver

Master2,Slave1

4.Host添加信息（两台机器都要执行） 编辑hosts文件，添加域名信息  命令为：vi /etc/hosts    保存之后，重启网卡服，命令：systemctl restart network   如下图

 

5.防火墙配置（两台机器都要执行）
可以开放端口，此处本地实现，简单粗暴点儿，直接关闭防火墙；
#检查状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld
然后编辑profile文件，添加rocketmq环境变量配置  命令：vi /etc/profile   编辑内容如下

# set rocketmq
ROCKETMQ_HOME=/usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

6.保存之后执行命令重新加载    命令为：source /etc/profile   

7.创建消息存储路径   因为同一台机器主从节点共用存储路径会冲突报错，这里我们分别创建两个目录避坑，我们在下一步中配置文件就用对应的路径就可以了(注意:以下创建命令需要一级级创建目录 得确保上一级目录是否存在才能创建  不能同时创建多级目录   不然会报mkdir: cannot create directory ‘/home/zhipeng/mq/rocketmq/mstore’: No such file or directory错误   如想要同时创建多级目录则需加mkdir -p即可)

#主节点使用目录
mkdir /home/zhipeng/mq/rocketmq/mstore
mkdir /home/zhipeng/mq/rocketmq/mstore/commitlog
mkdir /home/zhipeng/mq/rocketmq/mstore/consumequeue
mkdir /home/zhipeng/mq/rocketmq/mstore/index
 
#从节点使用目录
mkdir /home/zhipeng/mq/rocketmq/store
mkdir /home/zhipeng/mq/rocketmq/store/commitlog
mkdir /home/zhipeng/mq/rocketmq/store/consumequeue
mkdir /home/zhipeng/mq/rocketmq/store/index

8.修改broker配置文件  配置文件修改如下：

配置文件位置在conf文件目录下。
我们使用2m-2s-sync文件夹里面的配置，这个就是对应双主-双从-同步集群
下面配置文件可直接使用：首先对192.168.108.129机器上要部署的master1和slave2配置文件进行修改：命令：vim broker-a.properties      vim broker-b-s.properties

编辑broker-a.properties如下:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
  

编辑broker-b-s.properties如下:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

9.然后对192.168.108.128机器上要部署的master2和slave1配置文件进行修改：

编辑broker-b.properties:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/mstore
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/mstore/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/mstore/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/mstore/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/mstore/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/mstore/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

编辑broker-a-s.properties:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

10.修改配置文件runserver.sh,runbroker.sh  主要是修改JVM参数:因为rocketmq默认配置的JVM参数太大，本地资源有限，所以就改小点儿；命令：vim  home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

命令：vim  home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin/runbroker.sh    两台机器上的都要修改；

以上两台机器上的都要修改；

11.启动nameserver集群   

分别在192.168.108.128和192.168.108.129上启动nameServer  切换到bin目录下面   命令为：cd /home/zhipeng/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin    然后输入启动命令：nohup sh mqnamesrv &

12.启动broker集群

在192.168.108.128上启动master1和slave2

master1:
cd /home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a.properties &
slave2:
cd /home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &

在192.168.108.129上启动master2和slave1

master2:
cd /home/hezhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b.properties &
slave1:
cd /home/hezhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &

13.部署一个服务监控端

https://github.com/apache/rocketmq-externals  去这个网址下载rocketmq扩展项目代码； 本地解压目录如下

 

 

14.我们需要的就是rocketmq-console这个项目；该项目是springboot开发的，我们进入项目目录下本地用maven，打个jar包，然后将jar包上传到服务器启动就可以了；此处要【注意】：该项目需要对接nameserver集群进行监控，所以要去配置nameserver集群地址：去resource下找到application.properties文件进行编辑

指定nameSrvAddr为你的nameserver集群信息就可以了，用分号分隔；然后回到项目根目录打包 mvn package -Dmaven.test.skip=true等待打包完成.......去target下面拷贝jar包上传到任意一台虚机任意位置然后用nohup java -jar rocketmq-console-ng-1.0.1启动完成，在本地浏览器访问8080端口就可以了（默认为8080端口）；

 


 


 

 

 

浅唱~幸福
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，...
RocketMQ集群搭建(2m-2s-sync)及搭建中遇到的问题
qq_36816062的博客
01-23 693
RocketMQ集群搭建(2m-2s-sync)及搭建中遇到的问题       在学习一门技术之前，首先应该弄明白这门技术的使用流程或者说是运行流程，这样在代码开发、环境搭建上都会有很大的帮助，首先我们梳理下2m-2s-sync的原理图，如下： 1.各个角色及功能 (1)Producer生产者：生产并发送消息 (2)Consumer消费者：消费处理消息 (3)Broker：消息存储，生产者发送消息到broker，同时broker可完成消息的持久化
rocketmq 双主双从集群搭建
xgw的专栏
07-04 782
下载地址：https://archive.apache.org/dist/rocketmq/4.9.0/rocketmq-all-4.9.0-source-release.zip。移动并重命名：mv rocketmq-all-4.9.0-bin-release /home/rocketmq。git地址：https://github.com/apache/rocketmq-dashboard。解压：unzip rocketmq-all-4.9.0-bin-release.zip。
docker-compose搭建rocketmq集群双主双从
u014624123的博客
05-28 904
这里写自定义目录标题搭建信息搭建过程192.168.1.134192.168.1.129 搭建信息 搭建环境是虚拟机的两台centos7，此文为本人学习环境搭建过程的记录。 服务 IP 端口 nameservice 192.168.171.134 9876 console 192.168.171.134 19876 broker1-m-1 192.168.171.134 10911 broker1-s-1 192.168.171.134 11911 broker2-m-1 1
复制粘贴实现，RocketMQ 同步双主双从集群搭建
技术分享、唠嗑水文、如有不周、还望海涵
12-05 743
搭建本集群的：下面开始正文本次我们搭建的集群架构为 2m-2s-sync（同步双写）方式，如图：集群工作流程：服务器环境（端口记得放开）MQ相关端口定制：配置 Host 信息 配置如下： 配置完成，重启网卡 MQ下载地址：https://rocketmq.apache.org/download/本人下载的是 RocketMQ 4.9.4分别上传至对应主机并解压 NameServer 启动 进入下面文件，修改 NameServer 启动大小 JAVA_OPT 修改为下面配置大小 修改 NameServer 端
RocketMQ 2m-2s-async搭建
w907645377的博客
02-18 1179
RocketMQ 2m-2s-async搭建 两主两从异步复制搭建
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 9283
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
【RocketMQ 系列三】RocketMQ集群搭建（2m-2s-sync）
码农飞哥
10-16 553
RocketMQ集群搭建（2m-2s-sync）
RocketMQ-双主双从集群+DashBorad搭建(云服务器)
HGW的博客
12-22 1795
本文从理论知识垫基础到基于云服务器部署双主双从的RocketMQ集群，可谓是通透～
RocketMQ-3.5.8双主双从配置及部署说明
10-29
双主双从配置主要涉及到Broker节点，`RocketMQ笔记(2)_双主双从部署.pdf`应该详细介绍了这一过程： 1. 创建两个Broker实例，每个实例都配置为主节点和从节点。 2. 配置`broker.conf`文件，设置`brokerRole`为`ASYNC_...
两台电脑搭建RocketMQ 2master2slave-异步复制 集群
01-07
两台电脑搭建RocketMQ 2master2slave-异步复制 集群 每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下： 优点：即使磁盘损坏，消息丢失的...
在CentOS-6.8 64bit下安装Rocketmq4.2.0，采用双主双从同步复制
03-14
### 在CentOS-6.8 64bit下安装Rocketmq4.2.0，采用双主双从同步复制 #### 一、安装操作系统及基础配置 为了搭建RocketMQ集群，首先需要创建一个CentOS虚拟机，具体版本为CentOS-6.8 64位。建议配置如下： - **...
rocketmq可视化控制台最新版 rocketmq-console-ng-2.x
04-05
"rocketmq-console-ng-2.x"代表的是RocketMQ控制台的新版本，"ng"可能指的是"Next Generation"，意味着这个版本带来了更先进的特性和改进。2.0.0是这个版本的编号，通常代表着相较于之前的版本，它可能包含了大量的...
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
一、双主双从同步集群搭建与测试
09-20
RocketMQ-externals-master可能包含了用于搭建和测试双主双从同步集群的相关源码和脚本，这些资源可以帮助开发者深入理解RocketMQ的工作原理，并且能够动手实践，进一步提升对高可用架构设计的理解和应用能力。...
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
使用docker-compose部署RocketMQ 5.1.0集群(双主双从)
"该文主要介绍了如何使用docker-compose在本地搭建一个RocketMQ 5.1.0集群，采用双主双从模式，确保高可用性。集群中的组件包括NameServer、RocketMQ Dashboard以及两个主从节点（broker-a 和 broker-b）。整个集群...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值