系列十五（实战）、搭建RocketMQ集群（双主双从）

已于 2024-02-27 09:44:06 修改
阅读量3.1k 收藏 7
点赞数 2
分类专栏： RocketMQ系列 文章标签： RocketMQ Java
于 2023-07-11 23:16:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HelloWorld20161112/article/details/131526951
版权

一、概览

二、集群特点

2.1、NameServer

        NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

2.2、Broker

        Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义

2.3、Producer与NameServer

        Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。

2.4、Consumer与NameServer

        Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。 

三、集群搭建

3.1、服务器配置（两台服务器都要配置）

3.1.1、服务器环境

序号主机角色架构模式
1centos720230613nameserver、brokerserverMaster1、Slave2
2centos720230711nameserver、brokerserverMaster2、Slave1

3.1.2、hosts配置 

1、编辑hosts文件
vim /etc/hosts

2、配置信息：
# nameserver
192.168.173.200 rocketmq-nameserver1
192.168.173.198 rocketmq-nameserver2

# broker
192.168.173.200 rocketmq-master1
192.168.173.200 rocketmq-slave2
192.168.173.198 rocketmq-master2
192.168.173.198 rocketmq-slave1

 

 3.1.3、重启网卡

systemctl restart network

3.1.4、防火墙配置

场景：测试环境，比较简单粗暴，直接关闭防火墙即可
# 查看防火墙的状态
firewall-cmd --state 
# 关闭防火墙
systemctl stop firewalld.service 
# 禁止firewall开机启动
systemctl disable firewalld.service

场景：生产环境，为了安全，只开放特定的端口，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：
nameserver：默认使用 9876 端口
master：默认使用 10911 端口
slave：默认使用 11011 端口
执行如下命令：
# 开放nameserver默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重启防火墙
firewall-cmd --reload

 3.1.5、环境变量配置

# 编辑profile文件
vim /etc/profile

# 配置
# RocketMQ Config
ROCKETMQ_HOME=/usr/local/myRocketMQ
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

# 生效配置
source /etc/profile

3.1.6、创建消息存储路径

mkdir /usr/local/myRocketMQ/store
mkdir /usr/local/myRocketMQ/store/commitlog
mkdir /usr/local/myRocketMQ/store/consumequeue
mkdir /usr/local/myRocketMQ/store/index

3.2、broker配置

3.2.1、master1配置

# 服务器：【centos720230613】
vim /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=0
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=10911
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/myRocketMQ/store
# commitLog 存储路径
storePathCommitLog=/usr/local/myRocketMQ/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/myRocketMQ/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/myRocketMQ/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/myRocketMQ/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/myRocketMQ/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.2.2、slave2配置

# 服务器：【centos720230613】
vim /usr/local/myRocketMQ//conf/2m-2s-sync/broker-b-s.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
# 0 表示 Master，>0 表示 Slave
brokerId=1
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=11011
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/myRocketMQ/store
# commitLog 存储路径
storePathCommitLog=/usr/local/myRocketMQ/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/myRocketMQ/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/myRocketMQ/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/myRocketMQ/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/myRocketMQ/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SLAVE
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.2.3、master2配置

# 服务器：【centos720230711】
vim /usr/local/myRocketMQ/conf/2m-2s-sync/broker-b.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
# 0 表示 Master，>0 表示 Slave
brokerId=0
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=10911
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/myRocketMQ/store
# commitLog 存储路径
storePathCommitLog=/usr/local/myRocketMQ/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/myRocketMQ/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/myRocketMQ/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/myRocketMQ/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/myRocketMQ/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.2.4、slave1配置

# 服务器：【centos720230711】
vim /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a-s.properties

# 配置信息如下：
# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=1
# nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=11011
# 删除文件时间点，默认凌晨 4点
deleteWhen=04
# 文件保留时间，默认 48 小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/rocketmq/store
# commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
# 消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SLAVE
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
# checkTransactionMessageEnable=false
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

3.3、修改启动脚本（两台服务器都要修改）

3.3.1、修改runbroker.sh

# 编辑runbroker.sh
vim /usr/local/myRocketMQ/bin/runbroker.sh

# 配置信息如下：需要根据内存大小进行适当的对JVM参数进行调整
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.3.2、修改runserver.sh

# 编辑runserver.sh
vim /usr/local/myRocketMQ/bin/runserver.sh

# 配置信息如下：需要根据内存大小进行适当的对JVM参数进行调整
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.4、服务启动

3.4.1、启动NameServer集群

# 分别在【centos720230613】、【centos720230711】启动NameServer
nohup sh mqnamesrv &

3.4.2、启动Broker集群

# 【centos720230613】：启动master1和slave2
1、master1
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a.properties &

2、slave2
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-b-s.properties &


# 【centos720230711】：启动master2和slave1
1、master2
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-b.properties &

2、slave1
nohup sh mqbroker -c /usr/local/myRocketMQ/conf/2m-2s-sync/broker-a-s.properties &

3.4.3、查看进程状态

3.4.4、查看日志

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

【centos720230613】/namesrv.log

【centos720230613】/broker.log

【centos720230711】/namesrv.log

【centos720230711】/broker.log

 

YYAugenstern
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
1.1.RocketMq课程说明.mp4
05-27
本系列课程从rocketmq基础到高级实战，老师手把手教你如何进行rocketmq集群的搭建，课程体系完整清晰，理论结合实践，且涵盖了高频面试题。 1.MQ简介 1.1.mq简介 1.2.mq的作用 1.3.主要的mq产品 1.4.mq的缺点 1.5....
JAVA-ACE-架构师系列视频教程在线观看地址- RocketMQ（订单实战上下全集）
09-01
18018_RocketMQ_双主双从集群环境搭建与使用详解 19019_RocketMQ_FilterServer机制及使用详解 20020_RocketMQ_管理员命令 JAVA-ACE-架构师系列视频教程RocketMQ订单实战下目录介绍： 101_rocketmq_实战项目介绍...
linux下搭建RocketMQ双主双从集群实战
IT飞岳的博客
12-18 691
文章链接：https://www.yuque.com/docs/share/fb78ae0a-c98d-4297-9ee6-0d39efe651a3?# 《linux下搭建RocketMQ双主双从集群实战》
RocketMQ集群搭建
郭靖宇的个人博客
06-20 652
下载地址：https://github.com/apache/rocketmq-externals。下载地址：https://rocketmq.apache.org/download/服务器：node1（192.168.200.121）服务器：node2（192.168.200.122）服务器：node2（192.168.200.122）服务器：node3（192.168.200.123）上启动master1-slave1和master2。上启动master2-slave1。使用unzip解压命令。
RocketMQ-双主双从集群+DashBorad搭建(云服务器)
HGW的博客
12-22 1793
本文从理论知识垫基础到基于云服务器部署双主双从的RocketMQ集群，可谓是通透～
【实战】手把手教你从 0 到 1 搭建一套 RocketMQ 集群
m0_71777195的博客
08-25 433
这篇文章主要讲述了 RocketMQ 集群的搭建，希望能对大家理解 RocketMQ 有所帮助。
RocketMQ快速实战以及集群架构详解
qq_27740127的博客
10-10 2478
MQ：MessageQueue，消息队列。是在互联网中使用非常广泛的一系列服务中间件。这个词可以分两个部分来看，一是Message：消息。消息是在不同进程之间传递的数据。这些进程可以部署在同一台机器上，也可以分布在不同机器上。二是Queue：队列。队列原意是指一种具有FIFO(先进先出)特性的数据结构，是用来缓存数据的。对于消息中间件产品来说，能不能保证FIFO特性，尚值得考量。但是，所有消息队列都是需要具备存储消息，让消息排队的能力。
从零开始：手把手搭建 RocketMQ 单节点、集群节点实例
vnjohn 博主 > 主线分享后端领域业务设计知识、源码思想、架构设计
08-05 5581
该篇博文初介绍了 RocketMQ 「一个开源的、高吞吐量、低延迟的消息队列系统」它的一些基础的概念信息「消息模型、消息生产者、消息消费者、主题、代理服务器、名字服务器、消费模式：拉取、推送、消息、标签等」简要概述了 Kafka vs RocketMQ 之间的区别以及它们之间的巧妙结合，最后，作为开篇，环境是演示所有操作的前提，故总结了搭建 RocketMQ 单节点、集群节点的详细步骤，在 Linux 环境上可以直接服用此过程
RocketMQ快速实战以及集群架构原理详解
枫度柚子
02-24 1484
Dledger的职责实现思路简概注意点实现思路简概平摊注意点。
【RocketMQ专题】快速实战及集群架构原理详解
qq_32681589的博客
09-18 1115
MQ：即MessageQueue，消息队列。是在互联网中使用非常广泛的一系列服务中间件。Message：消息。消息是在不同进程之间传递的数据。这些进程可以部署在同一台机器上，也可以分布在不同机器上Queue：队列。队列原意是指一种具有FIFO(先进先出)特性的数据结构，是用来缓存数据的。对于消息中间件产品来说，能不能保证FIFO特性，尚值得考量。但是，所有消息队列都是需要具备存储消息，让消息排队的能力。广义上来说，只要能够实现消息跨进程传输以及队列数据缓存，就可以称之为消息队列。
RocketMQ实战-搭建高可用的分布式消息队列集群
DreamKey
01-29 401
RocketMQ
rocketmq多主多从异步复制集群部署
planck
02-16 2612
多Master-Slave异步复制模式」，即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时「Master宕机后，消费者仍然可以从Slave消费」，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样。「多Master-Slave同步双写模式」，数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高，「性能比异步复制模式略低」（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。
Apache RocketMQ 从入门到实战1
08-03
本章指导读者如何在本地或虚拟环境中搭建RocketMQ，包括安装Java运行环境、下载RocketMQ源码或二进制包、配置环境变量、启动各个组件（NameServer、Broker、Producer、Consumer）等步骤。 1.4 RocketMQ HA核心工作...
java -RocketMQ实战视频教程（上下全集）
01-25
- **集群搭建**：介绍如何搭建一个简单的RocketMQ集群环境，包括NameServer和Broker的配置。 - **发送与接收消息**：通过具体的代码示例，演示如何使用Java API发送普通消息、顺序消息以及事务消息，并展示消息的...
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
聊天室、websocket、socket.io、毕业设计.zip
07-27
聊天室、websocket、socket.io、毕业设计.zip
微麦电影购票小程序，分为三部分-小程序端-商家（影院）后台与官方后台.zip
最新发布
07-27
微麦电影购票小程序，分为三部分-小程序端-商家（影院）后台与官方后台.zip
防盗门进销存管理系统（SDIMS）.zip
07-27
防盗门进销存管理系统（SDIMS）.zip
MySQL-mmm双主集群详解与实战
四、案例搭建Mysql-mmm+mysql5.6双主高可用集群 在搭建过程中，通常需要准备至少两台MySQL服务器（主-主配置），一台监管服务器，以及安装并配置必要的软件如MySQL5.6、Perl环境等。具体步骤包括： 1. 安装MySQL...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值