RocketMQ - Broker的主从架构原理是什么

最新推荐文章于 2024-07-04 11:00:22 发布
最新推荐文章于 2024-07-04 11:00:22 发布
阅读量190 收藏
点赞数
分类专栏： RocketMQ - 你的消息队列技术引路人 文章标签： java-rocketmq rocketmq 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangbaggio/article/details/136237264
版权
本文探讨RocketMQ的主从架构，解释Master如何通过Pull模式同步消息给Slave，以及读写分离的实现。当Slave挂掉时，系统影响较小，但所有读写压力集中在Master。若Master宕机，旧版本RocketMQ需手动切换Slave为Master，而4.5版本后的Dledger机制支持自动选举新的Master，确保高可用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Master Broker是如何将消息同步给Slave Broker的

我们都知道，为了保证MQ的数据不丢失而且具备一定的高可用性，一般都是得将Broker部署成Master-Slave模式的，也就是一个Master Broker对应一个Slave Broker。

然后Master需要在接收到消息之后，将数据同步给Slave，这样一旦Master Broker挂了，还有Slave上有一份数据。

那么Master Broker是如何将消息同步给Slave Broker的？是Master Broker主动推送给Slave Broker？还是Slave Broker发送请求到Master Broker去拉取？

答案是第二种，RocketMQ的Master-Slave模式采用的是Slave Broker不停的发送请求到Master Broker去拉取消息。

所以首先要明白这一点，就是RocketMQ自身的Master-Slave模式采取的是Pull模式拉取消息。
在这里插入图片描述

2 RocketMQ实现读写分离了吗？

既然Master Broker主

了解本专栏 订阅专栏 解锁全文 超级会员免费看
RocketMQ源码详解 | Broker篇 · 其五：高可用之主从架构
qigeminghao的博客
12-17 854
概述 对于一个消息中间件来讲，高可用功能是极其重要的，RocketMQ 当然也具有其对应的高可用方案。 在 RocketMQ 中，有主从架构和 Dledger 两种高可用方案： 第一种通过主 Broker 将消息发送到从 Broker 实现高可用，在主 Broker IO 压力大或宕机的时候，从 Broker 可以接管读请求，但这种方案不支持在主 Broker 宕机后自动进行故障转移，且从 Broker 不支持写请求，也就是说在主 Broker 宕机后我们只能手动处理。 第二种是在 RocketMQ
03 RocketMQ - Broker 源码分析
刘元雄
09-02 867
03 RocketMQ - Broker 源码分析
RocketMQ Broker主从复制流程
LZJLZJLZJLZJLZJLZJ的专栏
03-26 1114
目录复制过程连接建立Slave Broker上报复制offsetMaster Broker读取Slave Broker上报的offsetMaster Broker复制消息给Slave BrokerSlave Broker读取新数据总结 复制过程 Broker主从复制主要逻辑在HAService类的内部，主要涉及以下组件： 1、HAClient：在Slave Broker角色才使用，其主要功能包括连接Master Broker、向Master Broker上报需要复制的offset、处理Master Bro
RocketMQ5.0.0的Broker主从同步机制
爱我所爱0505
02-23 2318
本章节介绍RocketMQ的主从同步机制实现，其主/从Broker启动流程相同，根据配置角色来决定是否执行HA同步。
RocketMQ 主从搭建
daiyuenlong110的博客
01-18 4723
1、多种集群模式讲解 1.1、单节点 优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢 缺点：不可靠，如果宕机，会导致服务不可用 1.2、主从(异步、同步双写) : 优点：同步双写消息不丢失(把消息写入master和slave), 异步复制存在少量丢失 (把数据写入master，master把数据复制到slave)，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入 缺点：主备有短暂消息延迟，毫秒级，目前不支持自动切换，需要脚本或者其他程序进行检测然后进行停止broker,重启让从节点成为主
RocketMQ HA机制(主从同步)
八荒六合唯我独尊
11-11 955
原创:https://mp.weixin.qq.com/s/QnFDFBOoI6pDZf8L2KpBDg 温馨提示：建议参考代码RocketMQ4.4版本，4.5版本引入了多副本机制，实现了主从自动切换，本文并不关心主从切换功能。 本节目录 1、初识主从同步 2、提出问题 3、原理探究 3.1 RocketMQ主从读写分离机制 3.2 消息消费进度同步机制 3.2.1 从服务定时同步主服务器进度 3.2.2 主服务器消息拉取时更...
rocketmq-all-5.2.0-bin-release.7z
03-07
2. 高可用：RocketMQ提供了主从复制和分布式集群部署方案，确保在节点故障时能快速切换，保证服务不中断。 3. 可靠性：RocketMQ支持消息持久化，即使在服务宕机的情况下，也能保证消息不丢失。其Message ID机制确保...
rocketmq-externals-master.zip
12-04
RocketMQ采用主从复制的集群架构，NameServer是无状态的，可以部署多台。每个Broker都可以配置为主或从，主Broker负责接收和存储消息，从Broker则通过同步或异步复制的方式备份数据。消费者可以采用Push模式（消息...
38.RocketMQ之Broker的主从架构
qq_30635523的博客
07-09 1035
本文摘自:Broker的主从架构是怎么实现的 Master Broker与Slave Broker之间的消息同步 Broker是RocketMQ的核心模块，负责接收并存储消息，为了保证整个MQ的高可用，一般情况都会将Broker部署成集群，集群中的每一部分都由Master和Slave组成，那么Master与Slave之间的数据是如何保证同步一致的呢？ 是Master主动把数据推送给Slave...
RocketMQ-Broker(五)-主从同步机制
星光之子的博客
12-08 2699
Broker主从同步机制主从同步概述主从同步流程相关名词配置数据同步流程CommitLog数据同步流程异步复制同步复制 主从同步概述 Master主要用于处理生产者、消费者的请求和存储数据 Slave从Master同步所有数据到本地，具体作用提现如下： Broker服务高可用。一般生产环境不会部署两个主Broker节点和两个从Broker节点（也叫 2m2s），一个 Master宕机后，另一个 Master可以接管工作；如果两个 Master都宕机，消费者可以通过连接Slave继续消费。这样可以保证服务的
RocketMQ主从切换原理总结及源码解析
点滴之积
03-22 2478
RocketMQ主从切换及恢复的源码解析及总结
RocketMQ-主从同步架构设计
weixin_42002747的博客
06-25 159
rocketmq主从同步架构设计
源码分析 RocketMQ DLedger 多副本即主从切换实现原理
notOnlyRush的博客
01-07 1228
原文：https://juejin.im/post/5db837186fb9a0204c5c36bb DLedger 基于 raft 协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。 RocketMQ 中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信...
主从切换_源码分析 RocketMQ DLedger 多副本即主从切换实现原理
weixin_34911749的博客
01-13 315
DLedger 基于 raft 协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。RocketMQ 中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。那主从切换后元数据如何同步呢？特别是主从切换过程中，对消息消费有多大的影响，会丢失消息吗？温馨提示：...
11 RocketMQ主从原理、读写分离与故障转移
喜欢历史的码农
06-20 3395
前面已经了解过的内容如下： 集群中的每个Master Broker只存储一部分消息，通过主从保证高可用； 所有Brokerdou
聊聊 RocketMQ 主从复制
m0_73311735的博客
07-03 481
RocketMQ 主从复制的实现思路非常简洁，Slave 启动一个线程，不断从 Master 拉取 Commit Log 中的数据，然后在异步 build 出 Consume Queue 数据结构。1、主从复制包含元数据复制和消息数据复制两个部分；2、元数据复制Slave Broker 定时任务每隔 10 秒向 Master Broker 发送 RPC 请求，将元数据同步到缓存后，然后持久化到磁盘里；3、消息数据复制Master 启动监听指定端口。
RocketMq整体架构浅析
ZHAOHUODIAN888的博客
08-21 515
其实都有可能，主要还是要根据Master Broker的情况来定，作为消费者首先会从Master Broker去获取消息，此时Master Broker会返回一批消息给消费者，在Master broker返回消息给消费者的同时，会根据Master Broker本身的负载情况和Slave Broker的同步情况，向消费者建议下次是从Master Broker拿消息还是从Slave Broker拿消息。上面说到我们的消息是存储在Broker中的，如果这时候Broker挂了，那么数据也就没了，这该怎么办？
RocketMQ集群架构分析与主从模式搭建
盲流子的博客
02-12 1276
1. RocketMQ集群模式架构分析 1.1 单节点 优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢 缺点：不可靠，如果宕机，会导致服务不可用 1.2 主从(异步、同步消息) 优点：同步双写消息不丢失，异步复制存在少量丢失，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入 缺点：主备有短暂消息延迟，毫秒级，目前不支持自动切换，需要脚本或者其他程序进行监测然后进行停止broker，...
RocketMQ 主从复制原理深度解析
最新发布
Xiaohong0716的博客
07-04 1193
1、主从复制包含元数据复制和消息数据复制两个部分；2、元数据复制​ Slave Broker 定时任务每隔 10 秒向 Master Broker 发送 RPC 请求，将元数据同步到缓存后，然后持久化到磁盘里；3、消息数据复制Master 启动监听指定端口Slave 启动 HaClient 服务，和 Master 创建 TCP 链接Slave 向 Master 上报存储进度Master 接收进度，消息文件中检索该偏移量后的所有消息，并传输给 Slave。
rocketmq的主从复制原理
08-27
主从复制的原理如下： 1. RocketMQ的每个Broker节点都可以配置为主节点（Master）或从节点（Slave）。 2. 主节点负责接收和写入消息，从节点负责备份主节点的数据。 3. 主节点将写入的消息持久化到磁盘，并将消息的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无法无天过路客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值