RocketMQ 主从集群模式搭建

最新推荐文章于 2023-10-10 01:47:32 发布
最新推荐文章于 2023-10-10 01:47:32 发布
阅读量592 收藏 2
点赞数
分类专栏： MQ 文章标签： 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eddielee9217/article/details/118548031
版权

文章目录

目录

RocketMQ 单Master搭建
RocketMQ 双主双从高可用部署

00:41:37

RocketMQ - 主从模式集群环境构建与测试

  • 主从模式环境构建可以保障消息的即时性与可靠性
  • 投递一条消息后，关闭主节点
  • 从节点继续可以提供消费者进行消费，但是不能接收消息
  • 主节点上线后, 进行消费进度 offset 同步

终端操作

关闭服务

  • 启动的时候，先 namesrv 后 broker
  • 关闭的时候，先 broker 后 namesrv

这个顺序不能搞混了，不然会出现服务器启动不了或者数据没了。

[eddie@tracker rocketmq]# cd /usr/local/rocketmq/bin/

[eddie@tracker bin]# sh mqshutdown broker
The mqbroker(22683) is running...
Send shutdown request to mqbroker(22683) OK

[eddie@tracker bin]# sh mqshutdown namesrv
The mqnamesrv(22657) is running...
Send shutdown request to mqnamesrv(22657) OK

快速搭建开始

服务器信息
序号IP Addr说明简称
1192.168.8.246master1，nameserver1a_Server
2192.168.8.247master-slave1，nameserver2b_Server
a_Server 配置 （00:49:43）

vim /etc/hosts

192.168.8.246 rocketmq-master1
192.168.8.246 rocketmq-nameserver1

192.168.8.247 rocketmq-nameserver2
192.168.8.247 rocketmq-master-slave1

发送rocketmq包

[root@tracker bin]# cd /opt/software/

[root@tracker software]# ll
total 11368
-rw-r--r--. 1 root root 11639497 Oct 31  2018 rocketmq-all-4.3.0-bin-release.zip

[root@tracker software]# scp rocketmq-all-4.3.0-bin-release.zip 192.168.8.247:/opt/software/
root@192.168.8.247's password: 
rocketmq-all-4.3.0-bin-release.zip                                                            100%   11MB  60.4MB/s   00:00

配置主从文件部分

vim /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer 地址，分号分割
#namesrvAddr=rocketmq-nameserver1:9876
#namesrvAddr=192.168.8.246:9876;192.168.8.247:9876
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4 点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

# 多网卡情况下必需指定，不然有可能选择其他网卡导致连接失败
brokerIP1=192.168.8.246
brokerIP2=192.168.8.246

备份 broker-a-s.properties

cd /usr/local/rocketmq/conf/2m-2s-async/
cp broker-a-s.properties broker-a-s.properties.bak

vim /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer 地址，分号分割
#namesrvAddr=192.168.8.246:9876;192.168.8.247:9876
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4 点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE

#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

# 多网卡情况下必需指定，不然有可能选择其他网卡导致连接失败
brokerIP1=192.168.8.247

brokerName, brokerId, brokerRole, namesrvAddr 四个属性需要修改和注意的

如若集群服务器是多网卡的情况，参考：
RocketMQ中broker配置brokcerIP1和brokerIP2的作用


发送 a_Server_246 的配置文件到 b_Server_247 (是覆盖形式的)

[root@tracker 2m-2s-async]# scp broker-a.properties broker-a-s.properties 192.168.8.247:/usr/local/rocketmq/conf/2m-2s-async/ 
root@192.168.8.247's password: 
broker-a.properties                                                                           100% 2247     2.8MB/s   00:00    
broker-a-s.properties                                                                         100% 2093     3.0MB/s   00:00
b_Server 配置

解压包与软连接

unzip /opt/software/rocketmq-all-4.3.0-bin-release.zip && mv rocketmq-all-4.3.0-bin-release /usr/local/apache-rocketmq

ln -s /usr/local/apache-rocketmq /usr/local/rocketmq

创建文件夹

mkdir -p /usr/local/rocketmq/store
mkdir -p /usr/local/rocketmq/store/commitlog
mkdir -p /usr/local/rocketmq/store/consumequeue
mkdir -p /usr/local/rocketmq/store/index
mkdir -p /usr/local/rocketmq/logs

替换日志文件路径

cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

修改启动脚本的JVM内存（最低配）

vim /usr/local/rocketmq/bin/runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"
JAVA_OPT="${JAVA_OPT} -XX:MaxDirectMemorySize=2g"

vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
分别启动两台服务器的namesrv和broker

192.168.8.246 (a_Server)

nohup sh mqnamesrv & 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

192.168.8.247 (b_Server)

nohup sh mqnamesrv & 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 &
rocketmq-console-ng 配置集群模式
docker run -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.8.246:9876;192.168.8.247:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 --name=rocketmq-cluster -t styletang/rocketmq-console-ng

图片.png

eddie_k2
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
RocketMQ集群的特点以及各种集群模式的介绍
江晓龙的博客
06-26 1万+
同步模式下的多Master多Slave模式比异步模式效率略低，并且性能也比异步模式消耗要高，因为同步模式Broker收到一条消息，首先会落盘然后同步给Slave，最后再反馈给发送者，而异步模式下，Broker在收到消息的一瞬间就会反馈给发送者消息已收到。同步模式下可以保证消息的可靠性，会保证每一条消息丢失成功进行存储的，而异步模式下，虽然Broker收到消息可以立即反馈，但是数据落盘时如果MQ宕机，发送者已经收到确认的消息的，但是消息其实并没有存储到Broker中，就会导致消息数据存在丢失的现象。
深入了解 RocketMQ：高性能消息中间件
最新发布
weixin_42383680的博客
11-01 986
RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker负责存储消息。Broker在实际部署过程中对应一台服务器，每个Broker可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的Broker。MessageQueue用于存储消息的物理地址，每个Topic中的消息地址存储于多个MessageQueue中。ConsumerGroup由多个Consumer实例构成。
RocketMQ快速实战以及集群架构详解
qq_27740127的博客
10-10 2021
MQ：MessageQueue，消息队列。是在互联网中使用非常广泛的一系列服务中间件。这个词可以分两个部分来看，一是Message：消息。消息是在不同进程之间传递的数据。这些进程可以部署在同一台机器上，也可以分布在不同机器上。二是Queue：队列。队列原意是指一种具有FIFO(先进先出)特性的数据结构，是用来缓存数据的。对于消息中间件产品来说，能不能保证FIFO特性，尚值得考量。但是，所有消息队列都是需要具备存储消息，让消息排队的能力。
RocketMQ（三）—— 集群模式的说明
稷下学员的笔记博客
12-23 1316
集群理论 复制与刷盘策略 复制： 复制策略是Broker的Master与Slave间的数据同步方式。分为同步复制与异步复制： 同步复制：消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK 异步复制：消息写入master后，master立即向producer返回成功ACK，无需等待slave同步数据成功 异步复制降低系统写入延迟，提高系统吞吐量 刷盘： 刷盘策略指的是broker中消息的落盘方式，即消息发送到broker内存后消息持久化到磁盘
RocketMQ双主双从集群搭建
YHJ
05-23 1898
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无
【RocketMQ】详解如何搭建一个多主多从的RocketMQ集群
浩瀚宇宙的一粒尘埃
09-03 3582
下载二进制包 下载链接：RocketMQ官网 注：二进制包是编译好的，拿来可以直接用，如果不需要定制化，改动源码，可选择二进制包 机器准备 准备三台机器，每台机器需要安装好jdk，1.8以上版本； 集群使用交叉部署：三台机器，每台各自装一个nameserver，三个broker：一个master，两个其他master的slave； 目录结构： 机器1：namesever-1、master-a、b-slave1、c-slave1 机器2：namesever-2、master-b、a-slave1、c-sl
postgresql12主从集群安装
10-11
postgresql12主从集群安装，复制命令去linux系统粘贴就行了。从单个pg数据库搭建到主从集群安装跟着命令一步一步执行。
k8s部署RocketMQ主从
08-02
个人使用的资源包,包含dockerfile文件,以及各个组件所使用的yaml
Mysql Keeplived主从集群环境搭建
06-14
Mysql Keeplived主从集群环境搭建Mysql Keeplived主从集群环境搭建Mysql Keeplived主从集群环境搭建Mysql Keeplived主从集群环境搭建亲测可用文档一步一步来的
MYSQ主从集群简单搭建的部署方案
05-06
自己练习学习搭建mysql主从集群，形成一份word便于记录和后续优化
搭建rocketmq集群遇到的坑点及解决办法
11-03
在搭建rocketmq集群过程中遇到的问题，记录下了，以免后来人浪费时间
RocketMQ笔记2-主从模式
个人小站：hjwu.cc
01-23 464
主从模式 2n1m1s主从搭建 可以保障消息的即时性与可靠性，主从节点可以消息同步 主节点挂掉，从节点无法接收消息，但是可以提供消费者数据进行消费 主节点重新上线后进行消费进度offset同步 生成者 核心参数 producerGroup: 组名，一个应用只有一个 defaultTopicQueueNums:在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数 sendMsgTimeout:发送消息超时时间，如果无法将消息发送到Broker,重试 compressMsgBodyOver
【RocketMQ的高可用原理机制、RocketMQ的集群部署方式、数据刷盘机制中的同步刷盘和异步刷盘、主从同步机制和主从异步机制、broker文件中的相关配置信息以及代表的含义】
Coder_ljw的博客
11-15 350
好了，到这里【RocketMQ的高可用原理机制、RocketMQ的集群部署方式、数据刷盘机制中的同步刷盘和异步刷盘、主从同步机制和主从异步机制、broker文件中的相关配置信息以及代表的含义】就先学习到这里，写一篇文章我们将要学习生产者和消费者的高可用机制。在多主架构体系下，无论使用客户端还是管理端创建主题，一个主题都会创建多份队列在多主中，默认是4个的话，双主就会有8个队列，每台主4个队列，所以双主可以提高性能，一个Topic的分布在不同的master，方便进行横向拓展。
rocketmq集群搭建以及消息顺序消费，消息事务等功能理解
weixin_36279234的博客
06-13 1046
下载当前最新版本的rocketmq：Release Notes - Apache RocketMQ - Version 4.9.3 - Apache RocketMQ rocketmq是java实现的，由于它的高并发而且低延迟的特性，所需要的内存很大，解压后需要修改runserver.sh和runbroker.sh配置文件的堆大小以及元数据空间大小，将默认的java heap配置根据自己虚机的资源进行调整。我的机器实在太烂，堆内存设置比较小runserver.sh runbroker.sh 修改c
8.15. show ip nat translations
weixin_33946020的博客
01-05 3588
2911#show ip nat translations udp | include 6.6 udp 202.130.101.34:60653 192.168.6.2:60653 8.8.8.8:53 8.8.8.8:53 udp 202.130.101.34:50000 192.168.6.6:50000 -...
RocketMQ 安装配置及集群主从配置
热门推荐
herforyou的博客
05-16 1万+
cketMQ安装配置及集群主从配置1.       需要软件：Maven，Java,RocketMQ当前最新版本是4.2.0，必须的java1.8来支持2 .  Java 安装解压完成后配置环境变量，#Java环境变量配置export JAVA_HOME=/usr/local/java/jdk1.8.0_171export JRE_HOME=/usr/local/java/jdk1.8.0_171...
Rocketmq 安装及主从配置
weixin_41953276的博客
07-05 1630
1、rocketmq依赖jdk，执行java -version看是否有安装java【若未安装则安装下java即可】2、下载apache最新rocketmq二进制压缩文件命令：wget https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip3、解压安装unzip -d ...
RocketMQ主从集群搭建
supreme000的博客
10-21 622
虚拟机中已安装了RocketMQ，安装过程参考https://blog.csdn.net/supreme000/article/details/109117577 使用VMware从已经安装好RocketMQ中克隆两台虚拟机作为本次集群搭建使用的机器 两台机器ip分别为192.168.135.131（主），192.168.135.132（从） 1.修改配置 修改runserver.sh与runbroker.sh脚本中-Xms, -Xmx, -Xmn三个参数的大小，根据自己的内存合理分配 我的是分别
rocketmq主从集群怎么查看集群成员
06-02
要查看 RocketMQ 主从集群的成员，可以使用 RocketMQ 提供的命令行工具 `mqadmin`，具体操作步骤如下： 1. 进入 RocketMQ 的 bin 目录，比如 `cd /usr/local/rocketmq/bin`。 2. 使用以下命令查看集群列表：`./mqadmin clusterList -n namesrvIP:9876`，其中 namesrvIP 是 RocketMQ namesrv 所在的 IP 地址。 例如，要查看名为 `MyCluster` 的 RocketMQ 主从集群的成员，可以使用以下命令： ``` ./mqadmin clusterList -n 127.0.0.1:9876 | grep MyCluster ``` 输出的结果类似于： ``` MyCluster: BrokerName1@127.0.0.1:10911 BrokerName1@127.0.0.1:10909 BrokerName2@127.0.0.1:10912 BrokerName2@127.0.0.1:10910 ``` 其中，`BrokerName1` 和 `BrokerName2` 分别是 RocketMQ 主从集群中的两个 broker 名称，`127.0.0.1` 是 broker 所在的 IP 地址，`10911`、`10909`、`10912`、`10910` 是 broker 监听的端口号。 通过以上命令，可以查看到 RocketMQ 主从集群中的所有成员。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

eddie_k2

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值