基于 raft 协议的 RocketMQ DLedger 多副本日志复制设计原理

最新推荐文章于 2024-08-22 20:02:12 发布
最新推荐文章于 2024-08-22 20:02:12 发布
阅读量202 收藏
点赞数
分类专栏： Java 文章标签： 经验分享 架构 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tt8889/article/details/124501285
版权
本文介绍了RocketMQ DLedger基于Raft协议的多副本日志复制流程，包括日志编号、追加与提交机制，以及如何保证日志一致性。在复制过程中，Leader节点接收并存储数据，广播到从节点，从节点存储后反馈给Leader，Leader仲裁确认大多数节点存储成功后才向客户端返回成功。
摘要由CSDN通过智能技术生成

  • 1.3 RocketMQ DLedger 从节点日志复制流程图

  • 2、RocketMQ DLedger 多副本日志复制实现要点

    • 2.1 日志编号

  • 2.2 追加与提交机制

  • 2.3 日志一致性如何保证

[](()1、RocketMQ DLedger 多副本日志复制流程图

[](()1.1 RocketMQ DLedger 日志转发(append) 请求流程图

在这里插入图片描述

[](()1.2 RocketMQ DLedger 日志仲裁流程图

在这里插入图片描述

[](()1.3 RocketMQ DLedger 从节点日志复制流程图

![在这里插入图片描述](https://img-blog.csdnimg.cn/2019092818 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 3733569.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNz

最低0.47元/天 解锁文章
tt8889
关注
专栏目录
Dledger部署RocketMQ高可用集群（9节点集群）
Java程序员廖志伟
02-27 637
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
RocketMQ 中DLedger框架 基于Raft算法实现选主及日志同步
xiaqingxue930914的专栏
01-06 2247
broker 在集群模式下，需要实现两个功能点： 1、多节点broker之间commitLog 日志文件内容同步；无论是 写主读从，一写多读，多主模式等。 同一个group内 master-slave 集群内，数据需要同步 2、能够自动容灾，即主节点挂了之后能够自动产生新的主节点，不影响对外提供服务 数据同步：传统 Mater/Slave 模式就可以支持 自动选主及切换： Zookeeper组件， 以及基于Raft等 分布式一致性算法实现。 基于zookeeper组件，需要额外部署zk集群
一文详解 RocketMQ 如何利用 Raft 进行高可用保障
最新发布
阿里巴巴中间件
08-22 908
前言AliwareApache RocketMQ 自诞生以来，因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余年的大规模场景打磨，RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案，被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景。由于其业务场景愈加丰富，在工业界的使用率日益提高，开发者们也必须更完善地考虑 RocketMQ ...
源码分析 RocketMQ DLedger 多副本即主从切换实现原理
notOnlyRush的博客
01-07 1109
原文：https://juejin.im/post/5db837186fb9a0204c5c36bb DLedger 基于 raft 协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。 RocketMQ 中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信...
RocketMQ前置：完全图解Raft协议基础
wukuruaCL的博客
05-06 1842
多图讲解Raft协议基础 Raft 是分布式领域中解决一致性的协议，主要包含领导者选举、日志复制两个部分。
RocketMQ的组织架构和基本概念，Dledger高可用集群架构原理
qq_1149513559的博客
02-09 2035
文章目录1. MQ产品介绍2. rocketMQ组织架构①：NameServer②：Broker③：Producer**④：Consumer 1. MQ产品介绍          1.1 什么是MQ？为什么要用MQ？         MQ：MessageQueue，消息队列。 队列，是一种FIFO 先进先出的数据结构。消息由生产者发送到MQ进行排
RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧
m0_64867220的博客
12-05 196
代码@1：如果开启 DLedger ，commitlog 的实现类为 DLedgerCommitLog，也是本文需要关注的关键所在。 代码@2：如果未开启 DLedger，则使用旧版的 Commitlog实现类。 2.2 增加节点状态变更事件监听器 BrokerController#initialize if (messageStoreConfig.isEnableDLegerCommitLog()) { DLedgerRoleChangeHandler roleChangeHandler = new DL
RocketMQ源代码解析.pdf
03-05
- DLedger的多副本机制包含了日志追加流程、日志复制过程、存储实现、平滑升级的设计技巧以及主从切换的实现原理。 4. **源码阅读技巧**： - 学习源码需要有策略，例如先了解官方文档、社区分享、以及其他技术...
RocketMQ原理学习--多副本实现 DLedger
井底之蛙
02-27 2473
一、DLedger引入目的 在 RocketMQ 4.5 版本之前，RocketMQ 只有 Master/Slave 一种部署方式，一组 broker 中有一个 Master ，有零到多个 Slave，Slave 通过同步复制或异步复制的方式去同步 Master 数据。Master/Slave 部署模式，提供了一定的高可用性。 但这样的部署模式，有一定缺陷。比如故障转移方面，如果主节...
dledger原理源码分析系列(一)-架构，核心组件和rpc组件
leehom的博客
06-28 1176
dledger是openmessaging的一个组件， raft算法实现，用于分布式日志，本系列分析dledger如何实现raft概念，以及dledger在rocketmq的应用本系列使用dledger v0.40本文分析dledger的架构，核心组件；rpc组件RaftIn Search of an Understandable Consensus Algorithm raft论文简版rpc服务内置rpc client/rpc server，对外接收外部rpc访问，包括client和节点间通讯；
【RocketMQ每日一问】RocketMQ中raft的应用?
FJJJJJ
01-04 483
RocketMQ中raft的应用
深度解析RocketMq源码-高可用存储组件（一） raft协议详解
zhifou123456的博客
06-23 1098
所以在leader宕机过后，一定能够保证整个集群超过一半的节点拥有最新的日志，再结合投票时一定是半数以上的支持，才能当选leader，也即他的索引一定是大于等于集群半数以上节点的，所以一定有用最新的日志。前面的文章已经分析过，以前rocketmq通过主从复制的思想实现系统的高可用，即在搭建集群的时候会手动的设置一个主节点和从节点，在写入数据的时候，会先写入到主broker，然后再同步到从节点中。term是一个单调递增的数字，每次candidate在发起选举的时候，便会将当前的term增加1。
Raft协议深度解析：RocketMQ中的Leader选举与故障转移
听得到微笑的博客
07-27 2153
在分布式系统应用中，高可用、一致性是经常面临的问题，针对不同的应用场景，我们会选择不同的架构方式，比如master-slave、基于ZooKeeper选主。随着时间的推移，出现了基于Raft算法自动选主的方式，Raft 是在 Paxos 的基础上，做了一些简化和限制，大大简化了算法的复杂度。Raft协议是目前分布式领域一个非常重要的一致性协议，RocketMQ 的主从切换机制也是介于Raft协议实现的。Raft 协议主要包含两个部分：Leader选举和日志复制。
RocketMQ--Dledger集群搭建
L2111533547的博客
07-01 4762
引言：一直以来，在多地多中心的消息发送场景下，如何保障数据的完整性和一致性是一个技术难点。Dledger 作为一个轻量级的 Java Library，它的作用就是将 Raft 有关于算法方面的内容全部抽象掉，开发人员只需要关心业务即可在 RocketMQ 4.5 版本之前，RocketMQ 只有 Master/Slave 一种部署方式，一组 broker 中有一个 Master ，有零到多个 Slave，Slave 通过同步复制或异步复制的方式去同步 Master 数据。Master/Slave 部署模式，
深度解析RocketMq源码-高可用存储组件（二）Dledger框架概览
zhifou123456的博客
06-24 1140
本文主要讲的是Dledger框架的大概组成部分，已经每个组件的使用，后面会详细介绍Dledger的投票和日志同步流程。
RocketMQ集群搭建：基于DLedger的主备切换
qq_40230026的博客
02-16 2166
文章目录1：RocketMQ 的 DLedger 介绍1.1：引子1.2：DLedger 的作用1.3：DLedger 的选举的注意点2：基于DLedger的主备切换集群搭建2.1：机器准备2.2：四台机器启动 NameServer2.3：配置 rocketmq-151 的配置文件（主）2.4：配置 rocketmq-152 的配置文件（备）2.4：配置 rocketmq-153 的配置文件（备）2.5：配置 rocketmq-154 的配置文件（备）3：启动控制台，查看集群情况4：测试选主 1：Rocke
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值