系列十五（实战）、搭建RocketMQ集群（双主双从）

已于 2024-02-27 09:44:06 修改
阅读量3.1k 收藏 7
点赞数 2
分类专栏： RocketMQ系列 文章标签： RocketMQ Java
于 2023-07-11 23:16:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HelloWorld20161112/article/details/131526951
版权

一、概览

二、集群特点

2.1、NameServer

        NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

2.2、Broker

        Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义

2.3、Producer与NameServer

        Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。

2.4、Consumer与NameServer

        Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。 

三、集群搭建

3.1、服务器配置（两台服务器都要配置）

3.1.1、服务器环境

序号主机角色架构模式
1centos720230613nameserver、brokerserverMaster1、Slave2
2centos720230711nameserver、brokerserverMaster2、Slave1

3.1.2、hosts配置 

1、编辑hosts文件
vim /etc/hosts

2、配置信息：
# nameserver
192.168.173.200 rocketmq-nameserver1
192.168.173.198 rocketmq-nameserver2

# broker
192.168.173.200 rocketmq-master1
192.168.173.200 rocketmq-slave2
192.168.173.198 rocketmq-master2
192.168.173.198 rocketmq-slave1

 

 3.1.3、重启网卡

systemctl restart network

3.1.4、防火墙配置

场景：测试环境，比较简单粗暴，直接关闭防火墙即可
# 查看防火墙的状态
firewall-cmd --state 
# 关闭防火墙
systemctl stop firewalld.service 
# 禁止firewall开机启动
systemctl disable firewalld.service

场景：生产环境，为了安全，只开放特定的端口，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：
nameserver：默认使用 9876 端口
master：默认使用 10911 端口
slave：默认使用 11011 端口
执行如下命令：
# 开放nameserver默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重启防火墙
firewall-cmd --reload

 3.1.5、环境变量配置

# 编辑profile文件
vim /etc/profile

# 配置
# RocketMQ Config
ROCKETMQ_HOME=/usr/local/myRocketMQ
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

# 生效配置
source /etc/profile

3.1.6、创建消息存储路径

mkdir /usr/local/myRocketMQ/store
mkdir /usr/local/myRocketMQ/store/commitlog
mkdir /usr/local/myRocketMQ/store/consumequeue
mkdir /usr/local/myRocketMQ/store/index

3.2、broker配置

3.2.1、master1配置

# 服务器：【centos720230613】
vim /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=0
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=10911
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/myRocketMQ/store
# commitLog 存储路径
storePathCommitLog=/usr/local/myRocketMQ/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/myRocketMQ/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/myRocketMQ/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/myRocketMQ/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/myRocketMQ/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.2.2、slave2配置

# 服务器：【centos720230613】
vim /usr/local/myRocketMQ//conf/2m-2s-sync/broker-b-s.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
# 0 表示 Master，>0 表示 Slave
brokerId=1
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=11011
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/myRocketMQ/store
# commitLog 存储路径
storePathCommitLog=/usr/local/myRocketMQ/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/myRocketMQ/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/myRocketMQ/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/myRocketMQ/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/myRocketMQ/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SLAVE
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.2.3、master2配置

# 服务器：【centos720230711】
vim /usr/local/myRocketMQ/conf/2m-2s-sync/broker-b.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
# 0 表示 Master，>0 表示 Slave
brokerId=0
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=10911
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/myRocketMQ/store
# commitLog 存储路径
storePathCommitLog=/usr/local/myRocketMQ/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/myRocketMQ/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/myRocketMQ/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/myRocketMQ/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/myRocketMQ/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.2.4、slave1配置

# 服务器：【centos720230711】
vim /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a-s.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=1
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=11011
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/rocketmq/store
# commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SLAVE
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.3、修改启动脚本（两台服务器都要修改）

3.3.1、修改runbroker.sh

# 编辑runbroker.sh
vim /usr/local/myRocketMQ/bin/runbroker.sh

# 配置信息如下：需要根据内存大小进行适当的对JVM参数进行调整
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.3.2、修改runserver.sh

# 编辑runserver.sh
vim /usr/local/myRocketMQ/bin/runserver.sh

# 配置信息如下：需要根据内存大小进行适当的对JVM参数进行调整
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.4、服务启动

3.4.1、启动NameServer集群

# 分别在【centos720230613】、【centos720230711】启动NameServer
nohup sh mqnamesrv &

3.4.2、启动Broker集群

# 【centos720230613】：启动master1和slave2
1、master1
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a.properties &

2、slave2
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-b-s.properties &


# 【centos720230711】：启动master2和slave1
1、master2
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-b.properties &

2、slave1
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a-s.properties &

3.4.3、查看进程状态

3.4.4、查看日志

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

【centos720230613】/namesrv.log

【centos720230613】/broker.log

【centos720230711】/namesrv.log

【centos720230711】/broker.log

 

YYAugenstern
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2962
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
RocketMQ集群部署
wangqingjia的博客
06-22 9568
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
RocketMQ 集群搭建
涛涛之海
09-12 744
文章目录RocketMQ 集群搭建各角色介绍集群搭建方式集群特点集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步）双主双从(同步)集群搭建工作流程配置步骤(1) 修改 vim /etc/hosts(2) 重启网卡(3) 修改防火墙(4) 配置环境变量(5) 创建消息存储路径(6)broker 配置文件(7)修改启动脚本文件(8) 服务启动mqadmin 管理工具1 使用方式2 命令介绍1）`Topic`相关2）集群相关3
RocketMQ集群搭建
最新发布
郭靖宇的个人博客
06-20 650
下载地址：https://github.com/apache/rocketmq-externals。下载地址：https://rocketmq.apache.org/download/服务器：node1（192.168.200.121）服务器：node2（192.168.200.122）服务器：node2（192.168.200.122）服务器：node3（192.168.200.123）上启动master1-slave1和master2。上启动master2-slave1。使用unzip解压命令。
RockerMQ集群部署
Java.L的博客
02-24 2220
讲解RockerMQ集群部署
RocketMQ-集群搭建
weixin_58482311的博客
12-01 1300
在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。
1.1.RocketMq课程说明.mp4
05-27
本系列课程从rocketmq基础到高级实战，老师手把手教你如何进行rocketmq集群的搭建，课程体系完整清晰，理论结合实践，且涵盖了高频面试题。 1.MQ简介 1.1.mq简介 1.2.mq的作用 1.3.主要的mq产品 1.4.mq的缺点 1.5....
JAVA-ACE-架构师系列视频教程在线观看地址- RocketMQ（订单实战上下全集）
09-01
18018_RocketMQ_双主双从集群环境搭建与使用详解 19019_RocketMQ_FilterServer机制及使用详解 20020_RocketMQ_管理员命令 JAVA-ACE-架构师系列视频教程RocketMQ订单实战下目录介绍： 101_rocketmq_实战项目介绍...
Apache RocketMQ 从入门到实战1
08-03
本章指导读者如何在本地或虚拟环境中搭建RocketMQ，包括安装Java运行环境、下载RocketMQ源码或二进制包、配置环境变量、启动各个组件（NameServer、Broker、Producer、Consumer）等步骤。 1.4 RocketMQ HA核心工作...
java -RocketMQ实战视频教程（上下全集）
01-25
- **集群搭建**：介绍如何搭建一个简单的RocketMQ集群环境，包括NameServer和Broker的配置。 - **发送与接收消息**：通过具体的代码示例，演示如何使用Java API发送普通消息、顺序消息以及事务消息，并展示消息的...
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
RocketMQ双主双从集群搭建
YHJ
05-23 1920
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无
RocketMQ集群配置
u011197085的博客
07-05 1733
请注意，这些是默认的端口，你可以在RocketMQ的配置文件中修改这些端口。同时，如果你运行了多个broker实例或namesrv实例，那么每个实例需要使用不同的端口。在这种情况下，你可以分别为每个Broker实例创建一个配置文件，并在每个文件中指定相应的Namesrv地址、Broker名称和角色（Master或Slave）。例如，如果你使用了不同的配置文件或者命令选项，那么你需要在。在这些命令的输出中，你可以看到启动Namesrv和Broker的命令，以及关联的进程ID。
快速学习-RocketMQ运维管理
逍遥云恋
09-20 514
运维管理 1 集群搭建 1.1 单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 1）启动 NameServer ### 首先启动Name Server $ nohup sh mqnamesrv & ### 验证Name Server 是否启动成功 $ tail -f ~/logs/rocketmqlogs/namesrv.log The Name Server boot success... 2）启动 B
RocketMQ双主双从搭建
认知 行动 坚持
01-08 810
runbroker.sh,runserver.sh启动参数默认对jvm的堆内存设置比较大(不改启动不起来)，如果是虚拟机非线上环境需要改下参数，大小可以根据自己机器来决定。因为rocketmq是java开发的，所以通过jps命令查看namesrv有没有启动，当然通过日志文件也可以，namesrv正常启动之后，后续再分别启动Broker。#替换*.xml文件中的{user.home}为自己指定的目录。#设置 rocketmq 环境变量。另外一台机器也是这样配置。#设置jdk环境变量。4、修改日志配置文件。
RocketMQ5.0.0路由中心NameServer
爱我所爱0505
01-15 1311
介绍NameServer的注册中心作用，Broker定时任务发送心跳包给NameServer，NameServer是消息存储Broker、生产者、消费者、从Broker的连接桥梁。
阿里二面：RocketMQ 集群 Broker 挂了，会造成什么影响？
zjj2006的专栏
09-05 2937
RocketMQ集群如果一个Broker挂了，会造成什么影响？
rockermq主从部署（docker）
博文中缺少的文件大家有需要可以私我哦
04-19 611
（1）架构图。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值