源码分析 RocketMQ DLedger 多副本存储实现

其文件组成形式如下：

正如上图所示，多个 commitlog 文件组成一个逻辑上的连续文件，使用 MappedFileQueue 表示，单个 commitlog 文件使用 MappedFile 表示。

温馨提示：如果想详细了解 RocketMQ 关于存储部分的讲解，可以关注笔者的《RocketMQ 技术内幕》一书。

1、DLedger 存储相关类图

---

1.1 DLedgerStore

存储抽象类，定义如下核心方法：

• public abstract DLedgerEntry appendAsLeader(DLedgerEntry entry)

向主节点追加日志(数据)。

• public abstract DLedgerEntry appendAsFollower(DLedgerEntry entry, long leaderTerm, String leaderId)

向从节点同步日志。

• public abstract DLedgerEntry get(Long index)

根据日志下标查找日志。

• public abstract long getCommittedIndex()

获取已提交的下标。

• public abstract long getLedgerEndTerm()

获取 Leader 当前最大的投票轮次。

• public abstract long getLedgerEndIndex()

获取 Leader 下一条日志写入的下标（最新日志的下标）。

• public abstract long getLedgerBeginIndex()

获取 Leader 第一条消息的下标。

• public void updateCommittedIndex(long term, long committedIndex)

更新commitedIndex的值，为空实现，由具体的存储子类实现。

• protected void updateLedgerEndIndexAndTerm()

更新 Leader 维护的 ledgerEndIndex 和 ledgerEndTerm 。

• public void flush()

刷写，空方法，由具体子类实现。

• public long truncate(DLedgerEntry entry, long leaderTerm, String leaderId)

删除日志，空方法，由具体子类实现。

• public void startup()

启动存储管理器，空方法，由具体子类实现。

• public void shutdown()

关闭存储管理器，空方法，由具体子类实现。

1.2 DLedgerMemoryStore

Dledger 基于内存实现的日志存储。

1.3 DLedgerMmapFileStore

基于文件内存映射机制的存储实现。其核心属性如下：

• long ledgerBeginIndex = -1

日志的起始索引，默认为 -1。

l- ong ledgerEndIndex = -1

下一条日志下标，默认为 -1。

• long committedIndex = -1

已提交的日志索引。

• long ledgerEndTerm

当前最大的投票轮次。

• DLedgerConfig dLedgerConfig

DLedger 的配置信息。

• MemberState memberState

状态机。

• MmapFileList dataFileList

日志文件(数据文件)的内存映射Queue。

• MmapFileList indexFileList

索引文件的内存映射文件集合。（可对标 RocketMQ MappedFIleQueue )。

• ThreadLocal< ByteBuffer> localIndexBuffer

本地线程变量，用来缓存索引ByteBuffer。

• ThreadLocal< ByteBuffer> localEntryBuffer

本地线程变量，用来缓存数据索引ByteBuffer。

• FlushDataService flushDataService

数据文件刷盘线程。

• CleanSpaceService cleanSpaceService

清除过期日志文件线程。

• boolean isDiskFull = false

磁盘是否已满。

• long lastCheckPointTimeMs

上一次检测点（时间戳）。

• AtomicBoolean hasLoaded

是否已经加载，主要用来避免重复加载(初始化)日志文件。

• AtomicBoolean hasRecovered

是否已恢复。

2、DLedger 存储 对标 RocketMQ 存储

---

存储部分主要包含存储映射文件、消息存储格式、刷盘、文件加载与文件恢复、过期文件删除等，由于这些内容在 RocketMQ 存储部分都已详细介绍，故本文点到为止，其对应的参考映射如下：

在 RocketMQ 中使用 MappedFile 来表示一个物理文件，而在 DLedger 中使用 DefaultMmapFIle 来表示一个物理文件。

在 RocketMQ 中使用 MappedFile 来表示多个物理文件(逻辑上连续)，而在 DLedger 中则使用MmapFileList。

在 RocketMQ 中使用 DefaultMessageStore 来封装存储逻辑，而在 DLedger 中则使用DLedgerMmapFileStore来封装存储逻辑。

在 RocketMQ 中使用 Commitlog F l u s h C o m m i t L o g S e r v i c e 来 实 现 c o m m i t l o g 文 件 的 刷 盘 ， 而 在 D L e d g e r 中 则 使 用 D L e d g e r M m a p F i l e S t o r e FlushCommitLogService 来实现 commitlog 文件的刷盘，而在 DLedger 中则使用DLedgerMmapFileStore FlushCommitLogService来实现commitlog文件的刷盘，而在DLedger中则使用DLedgerMmapFileStoreFlushDataService来实现文件刷盘。

在 RocketMQ 中使用 DefaultMessageStore C l e a n C o m m i t l o g S e r v i c e 来 实 现 c o m m i t l o g 过 期 文 件 的 删 除 ， 而 D L e d g e r 中 则 使 用 D L e d g e r M m a p F i l e S t o r e CleanCommitlogService 来实现 commitlog 过期文件的删除，而 DLedger 中则使用 DLedgerMmapFileStore CleanCommitlogService来实现commitlog过期文件的删除，而DLedger中则使用DLedgerMmapFileStoreCleanSpaceService来实现。

由于其实现原理相同，上述部分已经在《RocketMQ 技术内幕》第4章中详细剖析，故这里就不重复分析了。

3、DLedger 数据存储格式

---

存储格式字段的含义如下：

• magic

魔数，4字节。

• size

条目总长度，包含 Header(协议头) + 消息体，占4字节。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

总结

对于面试，一定要有良好的心态，这位小伙伴面试美团的时候没有被前面阿里的面试影响到，发挥也很正常，也就能顺利拿下美团的offer。
小编还整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家，

最后感谢大家的支持，希望小编整理的资料能够帮助到大家！也祝愿大家都能够升职加薪！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
外链图片转存中…(img-LntxXkCE-1713750605627)]

[外链图片转存中…(img-I1MBa7Wj-1713750605628)]

最后感谢大家的支持，希望小编整理的资料能够帮助到大家！也祝愿大家都能够升职加薪！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！