RocketMQ (二) 双主双从同步复制集群方案

最新推荐文章于 2024-07-24 10:41:14 发布
最新推荐文章于 2024-07-24 10:41:14 发布
阅读量635 收藏
点赞数
分类专栏： RocketMq 文章标签： 服务器 分布式 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43887285/article/details/121075319
版权

文章目录




部署环境

作为测试环境，我们使用两台虚拟机来部署双主双从环境，具体结构如下：

集群
整个集群由两个 name server 实例和四个 broker 实例组成

name server:

  • 两台服务器分别启动两个name server

broker A 主从:

  • 服务器1部署 broker A 主服务
  • 服务器2部署 broker A 从服务

broker B 主从:

  • 服务器2部署 broker B 主服务
  • 服务器1部署 broker B 从服务




安装 Rocketmq

首先参照《RocketMQ (一) 安装》笔记，在两台虚拟机上安装 Rocketmq。或在一台虚拟机上装好后进行克隆。




建文件夹

在一台服务器上启动两个 broker 实例，需要为不同实例设置单独的数据存储目录。

为了方便起见，我们在两台服务器上都创建这四个实例所需要的的目录。

mkdir /usr/local/rocketmq/store/
mkdir /usr/local/rocketmq/store/broker-a
mkdir /usr/local/rocketmq/store/broker-a/commitlog
mkdir /usr/local/rocketmq/store/broker-b
mkdir /usr/local/rocketmq/store/broker-b/commitlog
mkdir /usr/local/rocketmq/store/broker-as
mkdir /usr/local/rocketmq/store/broker-as/commitlog
mkdir /usr/local/rocketmq/store/broker-bs
mkdir /usr/local/rocketmq/store/broker-bs/commitlog




配置

在 rocketmq/conf 目录下提供了四种集群方案的配置样例

  • 2m-2s-async：双主双从异步复制
  • 2m-2s-sync：双主双从同步复制
  • 2m-noslave：双主
  • dledger： raft主从切换

这里我们选择双主双从同步复制方案。



1. broker-a，a主服务器配置

a

在服务器1修改样例配置文件：rocketmq/conf/2m-2s-sync/broker-a.properties

在样例配置文件中，添加三项配置：

  • listenPort：我们在一台服务器上要运行两个broker实例，所以两个实例的端口要有所区分。这里broker-a主服务器的端口使用默认的10911。
  • storePathRootDir：数据存储目录
  • storePathCommitLog：提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

listenPort=10911
storePathRootDir=/usr/local/rocketmq/store/broker-a
storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog



2. broker-a slave，a从服务器配置

as

在服务器2修改样例配置文件：rocketmq/conf/2m-2s-sync/broker-a-s.properties

在样例配置文件中，添加三项配置：

  • listenPort：我们在一台服务器上要运行两个broker实例，所以两个实例的端口要有所区分。这里broker-a slave从服务器的端口使用11911。
  • storePathRootDir：数据存储目录
  • storePathCommitLog：提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

listenPort=11911
storePathRootDir=/usr/local/rocketmq/store/broker-as
storePathCommitLog=/usr/local/rocketmq/store/broker-as/commitlog



3. broker-b，b主服务器配置

b

在服务器2修改样例配置文件：rocketmq/conf/2m-2s-sync/broker-b.properties

在样例配置文件中，添加三项配置：

  • listenPort：我们在一台服务器上要运行两个broker实例，所以两个实例的端口要有所区分。这里broker-b主服务器的端口使用默认的10911。
  • storePathRootDir：数据存储目录
  • storePathCommitLog：提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

listenPort=10911
storePathRootDir=/usr/local/rocketmq/store/broker-b
storePathCommitLog=/usr/local/rocketmq/store/broker-b/commitlog



4. broker-b slave，b从服务器配置

bs

在服务器1修改样例配置文件：rocketmq/conf/2m-2s-sync/broker-b-s.properties

在样例配置文件中，添加三项配置：

  • listenPort：我们在一台服务器上要运行两个broker实例，所以两个实例的端口要有所区分。这里broker-b slave从服务器的端口使用11911。
  • storePathRootDir：数据存储目录
  • storePathCommitLog：提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

listenPort=11911
storePathRootDir=/usr/local/rocketmq/store/broker-bs
storePathCommitLog=/usr/local/rocketmq/store/broker-bs/commitlog



配置要点说明

  1. 四台服务器的集群名 brokerClusterName 相同。集群名称相同的服务器共同组成服务集群 。

  2. 从服务器通过名字与主服务器关联在一起，brokerName 与主服务器相同。

  3. brokerId为0是主服务器。从服务器的值是非零值，例如如果有四个从服务器，他们的 brokerId 应该是 1,2,3,4。

  4. brokerRole的值为 SYNC_MASTER 是同步复制的主服务器。如果是 ASYNC_MASTER 则为异步复制的主服务器。


  • 同步复制：消息复制到从服务器后才向生产者发回反馈信息。
  • 异步复制：消息发到主服务器就向生产者发回反馈信息，之后再向从服务器复制。




启动



1. 启动两个 name server

namesrv

在两台服务器上启动两个 name server，它们不用做任何集群的配置，都是作为独立服务运行，它们之间也不会进行数据复制。

所有broker服务启动后，要同时连接这两个 name server，向两个 name server 进行注册。

在两台服务器上都启动 name server：

nohup sh mqnamesrv &



2. 启动 broker a 的主从两台服务器

a

在服务器1上启动 broker a 主服务器：

参数说明：

  • -n参数：指定name server地址列表，多个地址用分号分隔
  • -c参数：指定配置文件，使用指定的配置文件启动 broker
nohup sh mqbroker \
-n '192.168.64.151:9876;192.168.64.152:9876' \
-c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties \
&

在服务器2上启动 broker a 从服务器：

nohup sh mqbroker \
-n '192.168.64.151:9876;192.168.64.152:9876' \
-c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties \
&



3. 启动 broker b 的主从两台服务器

b


在服务器2上启动 broker b 主服务器：

nohup sh mqbroker \
-n '192.168.64.151:9876;192.168.64.152:9876' \
-c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties \
&

在服务器1上启动 broker b 从服务器：

nohup sh mqbroker \
-n '192.168.64.151:9876;192.168.64.152:9876' \
-c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties \
&




检查启动的服务

在两台服务器上分别查看java进程，确认两台服务器上是否各启动了三个java进程，分别运行name server和两个broker。

# 查看 java 进程
jps 

---------------------
12081 NamesrvStartup
15745 BrokerStartup
15595 BrokerStartup
16655 Jps




启动管理界面

# 进入 rocketmq-console 项目打包文件目录
cd /usr/local/rocketmq/RocketMQ-Externals/rocketmq-console/target/

# 启动管理界面
nohup java -jar rocketmq-console-ng-1.0.1.jar \
--server.port=8080 \
--rocketmq.config.namesrvAddr='192.168.64.151:9876;192.168.64.152:9876' \
&

查看集群状态：

在这里插入图片描述

꯭ 瞎꯭扯꯭蛋꯭
关注
专栏目录
rocketmq集群部署
08-11
### RocketMQ集群部署详解 #### 一、RocketMQ概述 RocketMQ是一款开源的分布式消息中间件，具有高吞吐量、低延迟、高可靠性的特点，适用于多种应用场景，如消息推送、日志收集、分布式事务处理等。在企业级应用中...
Java教程：RocketMq集群消息核心知识与SpringBoot整合并实现生产者与消费者
wfeil211的博客
09-28 4342
Java教程：RocketMq集群消息核心知识与SpringBoot整合并实现生产者与消费者
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMQ中多master多slave的环境搭建
yinbucheng的博客
08-07 1673
1. 服务器环境入下图所示，四台机器，IP位145为主节点，149是145的从节点。146是主节点，239是146的从节点 序号                IP                         用户名                              角色                                              模式 1      
【RocketMQ高可用】RocketMQ 双主双从集群搭建
qq_34416331的博客
07-14 3436
一、 集群架构 描述 NameServer 集群 NameServer 是一个无状态的节点，可集群部署，节点都是各自独立的，无任何信息同步 Broker 集群 ①Broker 分为 Master 与 Slave，一个 Master 可以对应多个 Slave，但一个 Slave 只能对应一个Master ② Master 与 Slave 的对应关系通过制定相同的 BrokerName，不同的 BrokerID 来定义，id 为 0 表示 Master， ...
RocketMQ消息丢失解决方案：同步刷盘+手动提交.docx
10-26
- **解决方案**：在高可用集群模式下，MasterBroker负责接收客户端发送的消息，并同步复制到一个或多个SlaveBroker中。当MasterBroker出现故障时，系统会自动将其中一个SlaveBroker提升为主节点，从而确保服务的...
基于DLedger构建高可用RocketMQ集群实践.pptx
10-16
DLedger 旨在解决 Raft 在大规模集群中的性能瓶颈，通过优化复制策略，如异步化线程模型、pipeline 复制和批量复制，提高了数据同步效率。此外，DLedger 还强化了系统的可靠性和容错性，能够应对进程异常、操作系统...
RocketMq消息队列实施计划方案_.doc
10-11
- **多Master多Slave（同步双写）**：数据和服务无单点故障，但性能略低，且无法自动切换。 在实施过程中，应根据业务需求和团队技术能力，选择合适的部署模式，并确保集群的稳定运行。同时，需要考虑监控和报警...
基于RocketMQ Connect构建数据流转处理平台.pptx
10-17
RocketMQ Connect是一个中间件，它利用RocketMQ作为桥梁，将数据从源数据存储系统复制到目标数据存储。它主要由三个部分组成：源连接器（Source Connector）、接收连接器（Sink Connector）和运行时环境（Runtime）...
java实现生产并消费rocketmq数据并将数据上传到存储服务器上02:rocketmq生产数据
qq_37716298的博客
09-22 252
上期回顾 java实现生产并消费rocketmq数据并将数据上传到存储服务器上:安装rocketmq和minio rocketmq生产数据 引入maven包 版本: <ons-client.version>1.8.8.Final</ons-client.version> <commons-beanutils.version>1.9.4</commons-beanutils.version> <dependency>
Rocketmq 双主双从集群搭建
weixin_43866043的博客
03-16 2627
rocketmq简介：RocketMQ 是阿里巴巴开源的分布式消息中间件。2017年捐献给apache开源基金会，次年成为apache顶级项目 是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式等特点 liunx 下 rocketmq 双主双从集群搭建 IP地址 角色 192.168.180.133 master1 192.168.180.133 master2-slave 192.168.180.245 master2 192.168
rocketMQ集群双主双从同步模式(2m-2s-sync)搭建
weixin_39643007的博客
12-20 1437
1.去apache官网（ http://rocketmq.apache.org/release_notes/release-notes-4.6.0/）下载最新的rocketmq发行版，我用的是4.6版本（ rocketmq-all-4.6.0-bin-release.zip） 如下图： 2.将下载后的二进制包（zip）上传到服务器目录之中，然后进行解压 解压命令为：unzi...
【RocketMQ集群】Linux搭建RocketMQ双主双从集群
编码人生
10-23 375
在当今大数据时代，消息队列系统成为了构建高可用、可扩展和可靠的分布式应用的重要组件之一。而Apache RocketMQ作为一款开源的分布式消息中间件，以其高吞吐量、低延迟和可靠性而备受青睐。为了满足大规模应用的需求，搭建RocketMQ集群是一种常见的部署方式。本文将介绍如何在Linux系统上搭建RocketMQ双主双从集群。通过搭建双主双从集群，我们可以实现消息的高可用性和容错性，确保在单个Broker节点故障时仍能保持服务的正常运行。首先，让我们了解一下RocketMQ集群的基本概念。
CentOS 7 搭建RocketMQ 4.6.0 双主双从集群，并使用Docker方式部署rocketmq-console-ng可视化管理控制台
qq_43659871的博客
12-20 508
【代码】CentOS 7 搭建RocketMQ 4.6.0 双主双从集群，并使用Docker方式部署rocketmq-console-ng可视化管理控制台。
RocketMQ
Y_FQY的博客
09-20 2290
分布式开放消息系统(RocketMQ)的原理与实践 字数8034 阅读12978 评论13 喜欢46 备注： 1.如果您此前未接触过RocketMQ，请先阅读附录部分，以便了解RocketMQ的整体架构和相关术语 2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了
Docker部署rocketmq双主双从
m0_53764756的博客
01-09 484
docker部署mq双主双从
Docker部署RocketMQ集群
shykevin的博客
02-23 2214
一、概述 Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。 关于RocketMQ集群架构的详细介绍，请参考链接：https://blog.csdn.net/Weixiaohuai/article/details/123607472 二、下载镜像 docker pull apache/rocketmq:4.9.4 docker pull a...
RocketMQ 4.7.1集群部署：双主双从与多主多从异步复制详解
本文档重点介绍了RocketMQ的四种常见集群部署模式：单节点、主从（异步/同步双写）、双主双从（异步复制）以及多主多从（同步双写）。双主双从模式，特别是异步复制模式，是本文推荐的部署架构。 1. **集群模式介绍...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

꯭ 瞎꯭扯꯭蛋꯭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值