rocketmq多主多从异步复制集群部署

已于 2022-08-21 23:13:49 修改
阅读量2.5k 收藏 3
点赞数 1
分类专栏： kubernetes 文章标签： 服务器 linux centos
于 2022-02-16 11:40:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36961626/article/details/122960151
版权

RocketMQ集群搭建

ROcketMQ集群搭建有以下几种方案：

    「单Master模式」
    「多Master模式」
    「多Master多Slave模式-异步复制」
    「多Master多Slave模式-同步双写」

其中，

「单Master模式」风险较大，「一旦Broker重启或者宕机时，会导致整个服务不可用」。不建议线上环境使用，可以用于本地测试。

「多Master模式」，一个集群无Slave，全是Master，单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，「消息实时性会受到影响」。

「多Master-Slave异步复制模式」，即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时「Master宕机后，消费者仍然可以从Slave消费」，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样。Master宕机会丢失少量的信息。

「多Master-Slave同步双写模式」，数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高，「性能比异步复制模式略低」（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。

我们采用多Master多Slave的异步复制模式来搭建RocketMQ集群。

架构图：

 集群各个角色参考配置如下：

1.配置RocketMQ-Master01(10.11.12.223)

首先创建消息存储路径，RocketMQ获取到消息默认为 /home，我们可以修改消息存储路径：

mkdir ./store
mkdir ./store/commitlog
mkdir ./store/consumequeue
mkdir ./store/index
cd store/
ll
total 0
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 commitlog
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 consumequeue
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 index

接下来编辑/conf/broker.conf

#所属集群名称
brokerClusterName=DefaultCluster
#broker名字，同一组的master-slave中，broker名字相同
brokerName=broker-a
#brokerId的ID，0 表示Master，>0 表示Slave
brokerId=0
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
 
#nameServer集群地址，如果是多个，使用分号;分割
namesrvAddr=10.11.12.223:9876;10.11.12.224:9876;10.11.12.227:9876;10.11.128:9876;
brokerIP1=10.11.12.223
 
#存储路径
storePathRootDir=/data/rocketmq-all-4.9.4-bin-release/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq-all-4.9.4-bin-release/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq-all-4.9.4-bin-release/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq-all-4.9.4-bin-release/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq-all-4.9.4-bin-release/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq-all-4.9.4-bin-release/store/abort

2.配置RocketMQ-Master02(主2 10.11.12.224)

首先创建消息存储路径，RocketMQ获取到消息后，broker会默认将消息进行持久化，持久化目录默认为 /home，我们可以修改消息存储路径：

mkdir ./store
mkdir ./store/commitlog
mkdir ./store/consumequeue
mkdir ./store/index
cd store/
ll
total 0
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 commitlog
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 consumequeue
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 index

编辑/conf/broker.conf

#所属集群名称
brokerClusterName=DefaultCluster
#broker名字，同一组的master-slave中，broker名字相同
brokerName=broker-b
#brokerId的ID，0 表示Master，>0 表示Slave
brokerId=0
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
 
#nameServer集群地址，如果是多个，使用分号;分割
namesrvAddr=10.11.12:9876;10.11.12:9876;10.11.12.227:9876;10.11.12.228:9876;
brokerIP1=10.11.12.224
 
#存储路径
storePathRootDir=/data/rocketmq-all-4.9.4-bin-release/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq-all-4.9.4-bin-release/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq-all-4.9.4-bin-release/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq-all-4.9.4-bin-release/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq-all-4.9.4-bin-release/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq-all-4.9.4-bin-release/store/abort

3.配置RocketMQ-Slave01(从1 10.11.12.227)

首先创建消息存储路径，RocketMQ获取到消息后，broker会默认将消息进行持久化，持久化目录默认为 /home，我们可以修改消息存储路径：

mkdir ./store
mkdir ./store/commitlog
mkdir ./store/consumequeue
mkdir ./store/index
cd store/
ll
total 0
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 commitlog
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 consumequeue
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 index

编辑/conf/broker.conf

#所属集群名称
brokerClusterName=DefaultCluster
#broker名字，同一组的master-slave中，broker名字相同
brokerName=broker-a
#brokerId的ID，0 表示Master，>0 表示Slave
brokerId=1
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
 
#nameServer集群地址，如果是多个，使用分号;分割
namesrvAddr=10.11.12.223:9876;10.11.12.224:9876;10.11.12.227:9876;10.11.12.228:9876;
brokerIP1=10.11.12.227
 
#存储路径
storePathRootDir=/data/rocketmq-all-4.9.4-bin-release/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq-all-4.9.4-bin-release/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq-all-4.9.4-bin-release/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq-all-4.9.4-bin-release/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq-all-4.9.4-bin-release/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq-all-4.9.4-bin-release/store/abort

4.配置RocketMQ-Slave02(从2 10.11.12.228)

首先创建消息存储路径，RocketMQ获取到消息后，broker会默认将消息进行持久化，持久化目录默认为 /home，我们可以修改消息存储路径：

mkdir ./store
mkdir ./store/commitlog
mkdir ./store/consumequeue
mkdir ./store/index
cd store/
ll
total 0
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 commitlog
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 consumequeue
drwxrwxr-x. 2 admin admin 6 Feb 18 09:50 index

编辑/conf/broker.conf

所属集群名称
brokerClusterName=DefaultCluster
#broker名字，同一组的master-slave中，broker名字相同
brokerName=broker-b
#brokerId的ID，0 表示Master，>0 表示Slave
brokerId=1
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
 
#nameServer集群地址，如果是多个，使用分号;分割
namesrvAddr=10.11.12.223:9876;10.11.12.224:9876;10.11.12.227:9876;10.11.12.228:9876;
brokerIP1=10.11.12.228
 
#存储路径
storePathRootDir=/data/rocketmq-all-4.9.4-bin-release/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq-all-4.9.4-bin-release/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq-all-4.9.4-bin-release/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq-all-4.9.4-bin-release/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq-all-4.9.4-bin-release/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq-all-4.9.4-bin-release/store/abort

5.启动NameServer集群

分区在4台机器上执行

#在223执行
nohup sh bin/mqnamesrv -n 10.11.12.223:9876 &
#在224执行
nohup sh bin/mqnamesrv -n 10.11.12.224:9876 &
#在227执行
nohup sh bin/mqnamesrv -n 10.11.12.227:9876 &
#在228执行
nohup sh bin/mqnamesrv -n 10.11.12.228:9876 &

tail -f ~/logs/rocketmqlogs/namesrv.log

6.启动Broker集群

分别在4台主机上执行

nohup sh bin/mqbroker -n '10.11.12.223:9876;110.11.12.224:9876;10.11.12.227:9876;10.11.12.228:9876;' -c conf/broker.conf autoCreateTopicEnable=true & 

tail -f ~/logs/rocketmqlogs/broker.log 
2022-08-21 22:54:11 INFO BrokerControllerScheduledThread1 - dispatch behind commit log 0 bytes
2022-08-21 22:54:11 INFO BrokerControllerScheduledThread1 - Slave fall behind master: 0 bytes
2022-08-21 22:54:12 INFO brokerOutApi_thread_1 - register broker[0]to name server 10.11.12.223:9876 OK
2022-08-21 22:54:12 INFO brokerOutApi_thread_2 - register broker[0]to name server 10.11.12.224:9876 OK
2022-08-21 22:54:12 INFO brokerOutApi_thread_3 - register broker[0]to name server 10.11.12.227:9876 OK
2022-08-21 22:54:12 INFO brokerOutApi_thread_4 - register broker[0]to name server 10.11.12.228:9876 OK



jps
1761 BrokerStartup
1706 NamesrvStartup
1854 Jps

7.启动可视化控制台

docker run -d  -e "JAVA_OPTS=-Drocketmq.namesrv.addr=10.11.12.223:9876;10.11.12.224:9876;10.11.12.227:9876;10.11.12.228:9876 
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
 --name rocketmq-console \
 -p 8080:8080 \
 -v /opt/software/rocketmq/rocketmq-console/logs:/root/logs \
 -t apacherocketmq/rocketmq-dashboard:latest

均衡教派.
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
科普：多线程与异步的区别
10-24
主要介绍了科普：多线程与异步的区别,本文讲解了多线程和异步操作的异同、异步操作的本质、线程的本质、异步操作的优缺点、多线程的优缺点等内容,需要的朋友可以参考下
RocketMQ-部署双Master模式
qq_40102178的博客
06-01 597
> unzip rocketmq-all-4.7.0-source-release.zip > cd rocketmq-all-4.7.0/ > mvn -Prelease-all -DskipTests clean install -U > cd distribution/target/rocketmq-4.7.0/rocketmq-4.7.0
【RocketMQ】详解如何搭建一个多主多从的RocketMQ集群
浩瀚宇宙的一粒尘埃
09-03 3474
下载二进制包 下载链接：RocketMQ官网 注：二进制包是编译好的，拿来可以直接用，如果不需要定制化，改动源码，可选择二进制包 机器准备 准备三台机器，每台机器需要安装好jdk，1.8以上版本； 集群使用交叉部署：三台机器，每台各自装一个nameserver，三个broker：一个master，两个其他master的slave； 目录结构： 机器1：namesever-1、master-a、b-slave1、c-slave1 机器2：namesever-2、master-b、a-slave1、c-sl
C# 多线程之基于委托的异步编程
01-06
赤道上的小熊又来了，在开发过程中，如果有一个方法比较耗时，又想获得该方法执行完后的结果，可以使用一个超级简单的方式，那就是基于委托的异步编程，异步方式理论上属于多线程，在执行时每个方法都会重新开启一个新的线程，话不多说直接上例子 public delegate string MyDelegate(int arg); //【1】声明一个委托变量 MyDelegate dele = null; //【2】定义一个委托 public Class1() { dele = new MyDelegate(Myfuntion2
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，异步复制，异步刷盘。
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
RocketMQ多Master模式
ditan20061218的博客
06-25 330
了解了RocketMQ的基本知识后，我们先来学习一下RocketMQ的多Master模式。 多Master模式：集群中不存在Slave节点，集群中所有节点都是Master节点。优点是配置简单，单个Master宕机或重启对应用没有影响。但是如果某个节点的Master宕机之后，该节点上未被消费的消息在节点恢复之前无法订阅和消费，实时性受到影响。 集群搭建过程： 服务器...
RocketMQ多Master集群搭建（一）
删繁就简三秋树
04-29 480
1.配置JDK8 环境变量 2.上传rocketmq-all-4.7.0-bin-release.zip 并解压 3.启动服务 4.springboot 整合rocketmq 5.demo 测试 6.总结
rocketmq多主多从异步复制模式集群搭建
zpsimon的博客
04-13 1334
本文目录RocketMQ集群服务集群服务**方案1：多master模式**方案2：多“master-slave”异步复制模式方案3：多“master-slave”同步复制模式（同步双写）方案4：DLedger(多副本)模式（唯一的推荐使用方案）”多主多从异步复制“集群模式部署规划1.搭建nameserver集群2.搭建broker集群搭建1）【node1】搭建master-a2）【node2】搭建a-slave13）【node2】搭建master-b4）【node3】搭建b-slave15）【node3】搭
RocketMq主从异步集群搭
weixin_43924444的博客
02-23 151
原文链接:https://blog.csdn.net/weixin_40533111/article/details/84451219 作者四月天五月雨^_^，转载请注明出处，谢谢 前言 本文基于最新版rocketmq 4.3.2搭建,2个节点,A节点部署A-m和B-s,B节点部...
两台电脑搭建RocketMQ 2master2slave-异步复制 集群
01-07
两台电脑搭建RocketMQ 2master2slave-异步复制 集群 每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下： 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样； 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。 一、下载 RockerMQ安装包 下载二进制编译包： https://archive.apache.org/dist/rocket
C#多线程与异步的区别详解
12-31
C#多线程与异步的区别详解 随着拥有多个硬线程 CPU（超线程、双核）的普及，多线程和异步操作等并发程序设计方法也受到了更多的关注和讨论。本文主要是想与各位高手一同探讨一下如何使用并发来最大化程序的性能。 多线程和异步操作的异同 多线程和异步操作两者都可以达到避免调用线程阻塞的目的，从而提高软件的可响应性。甚至有些时候我们就认为多线程和异步操作是等同的概念。但是，多线程和异步操作还是有一些区别的。而这些区别造成了使用多线程和异步操作的时机的区别。 异步操作的本质 所有的程序最终都会由计算机硬件来执行，所以为了更好的理解异步操作的本质，我们有必要了解一下它的硬件基础。 熟悉电脑硬件的朋友
搭建RocketMQ服务-多Master模式
王金铎的博客
03-08 2078
前言 RocketMQ 集群部署模式 单 master 模式 也就是只有一个 master 节点，如果master节点挂掉了，会导致整个服务不可用，线上不宜使用，适合个人学习使用。 多 master 模式 多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。 优点：所有模式中性能最高 缺点：单个 master 节点宕机期间，未被消费的消息在节点恢...
RocketMQ集群安装部署（多主多从）
momo898821的博客
04-08 3154
RocketMQ 2m-2s-async集群安装部署
RocketMQ多Master集群模式部署
DevOps
04-22 2197
1 概述 多Master集群模式指的是一个集群无Slave，全是Maste。 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10 时，即使机器宕机不可恢复情 由于RAID10 磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢）。性能最高。 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到受到影响。 ...
RocketMQ（六）多Master多Slave模式-异步复制集群搭建
weixiaohuai的博客
03-22 5467
目录 一、概述 二、环境准备 三、总体架构图 四、配置RocketMQ-Master01(主1 - 10.0.90.59) 五、配置RocketMQ-Master02(主2 - 10.0.90.144) 六、配置RocketMQ-Slave01(从1 - 10.0.91.8) 七、配置RocketMQ-Slave02(从2 - 10.0.91.49) 八、启动NameServer集群 九、启动Broker集群 十、启动可视化控制台 一、概述 前面一篇文章我们介绍了RocketMQ..
Rocket MQ【6】集群 - 多Master模式
说淑人的所思所想
01-06 1491
Rocket MQ【6】集群 - 多Master模式
RocketMQ多主（noslave）集群搭建
SunnyDay87的博客
05-23 589
RocketMQ多主（noslave）集群搭建 1. 环境准备 1.1 准备2台服务器地址为： 192.163.1.11 192.163.1.12 并且保证两台机器能供互相ping通 1.2 JDK环境11 sudo apt-get install openjdk-11-jdk 2. 安装RocketMQ 2.1 下载地址 https://mirrors.bfsu.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
linux 磁盘管理
最新发布
weixin_42795092的博客
04-29 1620
在mm下新建文件，在文件中输入内容，此内容就被写入第一个分区内，同时mm下会生出lost+found目录，当档案系统发生错误时， 将一些遗失的片段放置到这个目录下。把sdb3挂载到mm，创建文件同时写入内容，查看发现只显示f3，之前挂载的sdb1中的f1不见，代表多个分区可以挂载一个挂载点，但只显示最新挂载的分区。特点：针对不同的数据建立不同的分区，同时为不同的分区创建不同的权限。输入swapon /dev/sdb2，并查看虚拟内存组成分区，两块虚拟内存组成，虚拟内存挂载成功。
ansible部署rocketmq2主2从异步集群的hosts文件怎么写 主机怎么分配
06-09
你好，对于RocketMQ 2主2从异步集群的部署，可以将4台服务器分为两组，每组分别部署一个主节点和一个从节点。具体的hosts文件可以按照以下格式编写： ``` [master] 192.168.1.1 192.168.1.2 [slave] 192.168.1.3 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

均衡教派.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值