rocketMQ集群双主双从同步模式(2m-2s-sync)搭建

最新推荐文章于 2023-10-16 08:00:00 发布
置顶 最新推荐文章于 2023-10-16 08:00:00 发布
阅读量1.8k 收藏 7
点赞数 4
分类专栏： rocketMQ 文章标签： rocketmq 消息队列 集群 双主双从同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42043982/article/details/103602528
版权

目标：

简单搭建一个双主双从同步的rocketMq集群。

包含一个nameserver集群，一个broker集群。部署一个监控端。

 
下载最新的rocketmq发行版，
我用的是4.6版本（   rocketmq-all-4.6.0-bin-release.zip）；
下载二进制包（zip），解压路径我指定的是/usr/local/mq/rocketmq/目录下
另外需要JDK环境，此处不做详细说明；
 

一、准备工作

1）、服务器环境
规划：本地启动两台虚拟机；
序号
IP
角色
架构模式
1
192.168.75.128
nameserver,brokerserver
Master1,Slave2
2
192.168.75.129
nameserver,brokerserver
Master2,Slave1
 2）、Host添加信息（两台机器都要执行）
编辑hosts文件，添加域名信息
vim /etc/hosts
# nameserver
192.168.75.128 rocketmq-nameserver1
192.168.75.129 rocketmq-nameserver2
# broker
192.168.75.128 rocketmq-master1
192.168.75.128 rocketmq-slave2
192.168.75.129 rocketmq-master2
192.168.75.129 rocketmq-slave1
保存之后，重启网卡服务
systemctl restart network
 
3）、防火墙配置（两台机器都要执行）
可以开放端口，此处本地实现，简单粗暴点儿，直接关闭防火墙；
#检查状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld
 
4）、环境变量配置
编辑profile文件，添加rocketmq环境变量
vim /etc/profile 
# set rocketmq
ROCKETMQ_HOME=/usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH
保存之后执行命令重新加载
source /etc/profile
   
5）、创建消息存储路径
因为同一台机器主从节点共用存储路径会冲突报错，这里我们分别创建两个目录避坑，我们在下一步中配置文件就用对应的路径就可以了；
#主节点使用目录
mkdir /usr/local/mq/rocketmq/mstore
mkdir /usr/local/mq/rocketmq/mstore/commitlog
mkdir /usr/local/mq/rocketmq/mstore/consumequeue
mkdir /usr/local/mq/rocketmq/mstore/index
 
#从节点使用目录
mkdir /usr/local/mq/rocketmq/store
mkdir /usr/local/mq/rocketmq/store/commitlog
mkdir /usr/local/mq/rocketmq/store/consumequeue
mkdir /usr/local/mq/rocketmq/store/index
 

二、broker配置文件

配置文件修改如下：
配置文件位置在conf文件目录下。
我们使用2m-2s-sync文件夹里面的配置，这个就是对应双主-双从-同步集群
下面配置文件可直接使用：
各配置文件主要区别有主要有以下几个点：brokerName、brokerId、listenPort、brokerRole、flushDiskType、存储路径；
 
首先对192.168.75.128机器上要部署的master1和slave2配置文件进行修改：
 
编辑broker-a.properties:
  
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样;主从节点一样，也就是这个值区分broker组的；
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave；同一个组中区分主从的标识，只能有一个主；
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

编辑broker-b-s.properties: 
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

然后对192.168.75.129机器上要部署的master2和slave1配置文件进行修改：
 
编辑broker-b.properties: 
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/mstore
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/mstore/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/mstore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/mstore/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/mstore/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/mstore/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

编辑broker-a-s.properties: 
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

三、修改启动脚本

修改配置文件runserver.sh,runbroker.sh
主要是修改JVM参数:因为rocketmq默认配置的JVM参数太大，本地资源有限，所以就改小点儿；
cd /usr/local/mq/rocketmq/rocketmq-all- 4.6.0-bin-release/bin
进入编辑 vim runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
进入编辑 vim runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
两台机器上的都要修改；

四、服务启动

启动nameserver集群
分别在192.168.75.128和192.168.75.129上启动nameServer
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqnamesrv &
启动broker集群
在192.168.75.128上启动master1和slave2
master1:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a.properties &
slave2:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &
在192.168.75.129上启动master2和slave1
master2:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b.properties &
slave1:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &

五、部署一个服务监控端

去这个网址下载rocketmq扩展项目代码；
本地解压目录如下
我们需要的就是rocketmq-console这个项目；
该项目是springboot开发的，我们进入项目目录下本地用maven，打个jar包，然后将jar包上传到服务器启动就可以了；
此处要【注意】：该项目需要对接nameserver集群进行监控，所以要去配置nameserver集群地址：
去resource下找到application.properties文件进行编辑
指定nameSrvAddr为你的nameserver集群信息就可以了，用分号分隔；
然后回到项目根目录打包
mvn package -Dmaven.test.skip=true
等待打包完成.......
去target下面拷贝jar包上传到任意一台虚机任意位置
然后用nohup java -jar  rocketmq-console-ng-1.0.1
启动完成，在本地浏览器访问8080端口就可以了（默认为8080端口）；
 
 
 
 
 
 
Code,BetterCode
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Rocketmq的双主双从安装（2m-2s-syn）
意外
04-18 382
1.准备工作 Centos7（2台） JDK1.8 rocketmq-4.4 说明：这里为了简单只使用2台机器 使用unzip解压rocketmq的二进制包 unzip rocketmq-all-4.4.0-bin-release 2.环境配置 配置host 192.168.205.10 rocketmq-nameserver1 192.168.205.11 rocketmq-nam...
RocketMQ部署方案、核心概念和专业术语详解
alan_liuyue的博客
01-05 1238
1. 部署方案 RocketMQ集群由NameServer和Broker两种角色组成，NameServer是无状态的可以横向部署多台达到消除单点的目的；Broker分多master、多master多slave同步、多master多slave异步这三种部署方案，一般生产环境都使用的是多master多slave异步这种方案，关于这三种方案的优缺点对比如下： 1.1 多Master模式（2m-nos...
Centos7.2下RocketMQ 集群部署(2m-2s-sync)
随便起个不重复的名字
03-17 394
一、环境准备与介绍 1、部署架构、 使用的模式是 2m-2s-sync 2、broker机器信息 Master 1：192.168.31.5 Slave 1：192.168.31.6 Master 2：192.168.31.7 Slave 2：192.168.31.8 3、nameserver机器信息 Name Server 1：192.168.31.5 Name Server 2：192.168.31.6 Name Server 3：192.168.31.7 4、安装jdk 安装jdk-8u1
RocketMQ集群搭建(2m-2s-sync)及搭建中遇到的问题
qq_36816062的博客
01-23 690
RocketMQ集群搭建(2m-2s-sync)及搭建中遇到的问题       在学习一门技术之前，首先应该弄明白这门技术的使用流程或者说是运行流程，这样在代码开发、环境搭建上都会有很大的帮助，首先我们梳理下2m-2s-sync的原理图，如下： 1.各个角色及功能 (1)Producer生产者：生产并发送消息 (2)Consumer消费者：消费处理消息 (3)Broker：消息存储，生产者发送消息到broker，同时broker可完成消息的持久化
【RocketMQ 系列三】RocketMQ集群搭建（2m-2s-sync）
最新发布
码农飞哥
10-16 541
RocketMQ集群搭建（2m-2s-sync）
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，...
RocketMQ-3.5.8双主双从配置及部署说明
10-29
双主双从配置主要涉及到Broker节点，`RocketMQ笔记(2)_双主双从部署.pdf`应该详细介绍了这一过程： 1. 创建两个Broker实例，每个实例都配置为主节点和从节点。 2. 配置`broker.conf`文件，设置`brokerRole`为`ASYNC_...
两台电脑搭建RocketMQ 2master2slave-异步复制 集群
01-07
两台电脑搭建RocketMQ 2master2slave-异步复制 集群 每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下： 优点：即使磁盘损坏，消息丢失的...
rocketmq可视化控制台最新版 rocketmq-console-ng-2.x
04-05
"rocketmq-console-ng-2.x"代表的是RocketMQ控制台的新版本，"ng"可能指的是"Next Generation"，意味着这个版本带来了更先进的特性和改进。2.0.0是这个版本的编号，通常代表着相较于之前的版本，它可能包含了大量的...
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
Linux下RocketMQ环境的配置
weixin_33716557的博客
10-10 468
　　RocketMQ是一款分布式消息系统，最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统，满足线上海量堆积的需求，在去年捐赠给Apache开源基金会，并列为孵化项目，今年成功的正式成为了apache顶级项目；早期阿里曾经基于ActiveMQ研发的消息系统，随着业务消息的规模增大，瓶颈逐渐明显，后来也考虑过Kafka，但是因为在低延迟和高可靠性...
RocketMQ 2m-2s-async搭建
w907645377的博客
02-18 1154
RocketMQ 2m-2s-async搭建 两主两从异步复制搭建
多 Master 多 Slave 模式，同步双写
weixin_33724046的博客
03-14 872
2019独角兽企业重金招聘Python工程师标准>>> ...
RocketMQ集群解决方案
aspnetandjava的专栏
11-29 5564
一、应用场景及性能（在使用RockeMq之前我们要思考这框架能帮我们解决什么现实问题）   1、异步处理，将不是必须的业务逻辑，进行异步处理，比如注册之后短信、邮箱的发送   2、应用解耦，        订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功。        库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单
RocketMQ集群部署文档（2m-2s-async模式）
从前不爱吃面的大叔
11-20 6427
第一章、安装文件的准备 1、64bit OS, Linux/Unix/Mac is recommended; 2、64bit JDK 1.8+; 3、Maven 3.2.x 4、Git 第二章、集群安装 JDK每台机器都需要安装，maven和git只需要一台安装即可，编译好rocketmq之后使用scp命令拷贝到其他机器。   1、安装64位jdk配置环境变量 J
RocketMQ中文文档（译）
热门推荐
IT农场
01-30 6万+
前言：近日需要研究一下RocketMQ，为了方便日后查找，因此对官方英文文档进行翻译记载，也希望能帮助到要学习的朋友。阅读后发现，文档还是比较粗略的，大概也只能了解些概念和简单实用。快速入门部分比较简单，因此暂时没翻译只翻译其中重要的几个部分，快速入门日后会补上。目前rocket的版本是4.2.0 官方参考文档的地址是：http://rocketmq.apache.org/docs/rmq-arc...
RocketMQ--环境构建和启动
puwan4207的博客
10-18 254
环境搭建 修改hosts vim /etc/hosts 上传编译好的包 # 上传 apache-rocketmq.tar.gz 文件至/usr/local # tar -zxvf apache-rocketmq.tar.gz -C /usr/local # 建立软链接 ln -s apache-rocketmq rocketmq ll /usr/local =====================================================================
MQTT-Client-netty源码（pub/sub）
愚者
06-02 2416
一、publish发布主题发布消息 package jmh.netty; import io.netty.buffer.Unpooled; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.handler.codec.mqtt.MqttQoS; import io.netty.util.concurrent.Futu...
我的rocketmq集群搭建mast2 slave1 rocketmq控制台进不去
08-18
您好！对于您的问题，我有一些可能的解决方案： 1. 检查网络连接：确保您的网络连接正常，尝试通过浏览器访问RocketMQ控制台的URL，看是否能够打开。如果无法打开，请检查网络配置和防火墙设置。 2. 检查配置文件：确保您的RocketMQ集群配置文件正确设置了主从节点的IP地址和端口号，并且配置文件在所有节点上都是一致的。您可以检查`broker.conf`文件和`namesrv.conf`文件。 3. 检查RocketMQ服务状态：使用命令行工具或者脚本检查RocketMQ服务的运行状态。您可以使用`mqadmin`命令行工具执行`mqadmin clusterList`命令来查看集群状态，并确保主从节点都处于正常运行状态。 4. 检查日志文件：查看RocketMQ的日志文件，了解是否有任何异常或错误信息。通常，RocketMQ的日志文件位于`logs`目录下，您可以查看`broker.log`和`namesrv.log`文件。 如果您仍然无法解决问题，请提供更多详细信息，我将尽力帮助您解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值