RocketMQ高手之路系列之十二：原来RocketMQ高可用设计是这么玩的

最新推荐文章于 2024-10-07 20:10:16 发布

2401_84049200

最新推荐文章于 2024-10-07 20:10:16 发布

阅读量952

点赞数 20

分类专栏：程序员文章标签： rocketmq 面试职场和发展

本文链接：https://blog.csdn.net/2401_84049200/article/details/138398922

版权

程序员专栏收录该内容

431 篇文章 0 订阅

订阅专栏

本文详细解析了RocketMQ如何通过Dledger技术实现数据冗余和高可用，涉及Broker节点的Leader/Follower架构，以及故障转移的自动选举过程。同时提到面试题中常涉及的SpringCloud和SpringBoot实战知识点。

摘要由CSDN通过智能技术生成

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！
我们都知道对于一款消息中间件来说，它是否能够方便的实现高可用是评价其稳定性能力的一个重要指标。RocketMQ作为阿里开源的消息中间件，在性能以及高可用等方面都有出色的表现，那么本文主要和大家探讨下RockeqMQ到底是如何实现高可用的。

问题提出

相信大家都知道，在一些常见的中间件设计中如果想要实现数据的高可用性，那么经常采用的办法就是进行数据冗余度存储。当然RocketMQ也是不例外的，当数据写入Broker节点之后，还需要进行数据冗余操作，也就是将数据同步到其他Broker节点上。这样做的目的就是即便Broke集群存在节点挂了的情况，但是其他的Broker节点中还存有消息数据，那么就不至于Broker无法对外提供服务，从而实现Broker的高可用。那么这其中就涉及到几个问题：

1、Broker的集群节点都是对等的吗？还会是存在leader节点以及follower节点？

2、RocketMQ党Broker节点挂掉之后，是如何实现故障转移的？

DLedger如何实现数据冗余存储？

实际上RocketMQ使用了Dledger的技术来实现高可用的。那这个Dledger到底能干什么呢？首先是实现conmmitlog的统一管理。由于DLedger 提供了一些可以直接读取CommitLog的API，于是就可以很方便地根据CommitLog去构建ConsumerQueue或者其他的模块。这就是DLedger 在RocketMQ上最直接的应用。

RocketMQ中的Broker节点采用的是leader节点加follow节点的形式， DLedger 集群发起一个写请求，集群中的 Leader 节点来处理写请求，首先数据先存入 Leader 节点，然后需要广播给它的所有从节点，从节点接收到 Leader 节点的数据推送对数据进行存储，然后向主节点汇报存储的结果，Leader 节点会对该日志的存储结果进行仲裁，如果超过集群数量的一半都成功存储了该数据，主节点则向客户端返回写入成功，否则向客户端写入写入失败。

在这里插入图片描述

Broker如何实现自动故障转移的？

在引入Dledger技术之前，Broker的master节点挂掉之后，需要手工进行Broker节点的重启或者切换，非常的不方便，因此通过引入Dledger技术实现自动的故障转移。要想实现自动的故障转移，必定需要在主节点挂掉之后，可以自动进行主节点的选举以及切换。在RocketMQ中，DLedger 就是一个基于 raft 协议的 commitlog 存储库，实际上也是基于Raft协议实现Broker的Leader节点进行选举的，那么Raft具体的选举流程又是怎样的呢？

首先Dledger把RocketMQ集群中的broker节点分为三个角色，每个角色有着自己迪特的职责：

角色说明

Leader角色 ：主要负责数据写入，将数据同步到follower节点，保证主从数据一致性，同时使用心跳机制告诉其他节点它是Leader角色；

Follower角色：负责将leader节点发送过来的数据保存到本地，同时需要响应leader节点心跳；

Candidate角色：该角色等待进行leader选举。

当RocketMQ 三个节点刚启动或者leader节点故障挂断的时候，这个时候集群全部节点都是candidate 状态，此时会触发leader选举，选举步骤大致：

1、三个RocketMQ Broker节点启动后，此时它们的角色状态都是Candidate状态，等待进行Leader的选举；

2、此时Broker0率先发起选举，由于Broker0比较自信，它先选举自己为Leader，给自己投了一票，然后通知其他节点；

3、当Broker1以及Broker2接收到选举信息后，由于它们还没开始进行选举，那么既然你Broker0这么自告奋勇，那我们就统一让你来当Leader吧，于是它们都同意让Boker0来当这个Leader；

4、当Broker0收到其他两个节点的确认后，计算自己的投票已经超过半数，于是宣布自己当选，将自己的状态修改为Leader，并通知其他节点，其他节点修改自己的状态为Follower。

这次面试我也做了一些总结，确实还有很多要学的东西。相关面试题也做了整理，可以分享给大家，了解一下面试真题，想进大厂的或者想跳槽的小伙伴不妨好好利用时间来学习。学习的脚步一定不能停止！

薪酬缩水，“裸辞”奋战25天三面美团，交叉面却被吊打，我太难了