RocketMQ5.0源码解析-CommitLog图文详解

本文介绍了RocketMQ5.0的CommitLog设计,包括MappedFileQueue、刷盘机制和消息处理流程。CommitLog是存储抽象,使用MappedFileQueue管理数据文件,通过FlushManager进行数据落地。消息先经过校验,再处理并存储,支持同步和异步刷盘策略。刷盘由FlushRealTimeService和GroupCommitService等服务实现。
摘要由CSDN通过智能技术生成

RocketMQ4.x和RocketMQ5.0在CommitLog的设计上面基本上没有太多调整,还是沿用了之前的设计。下面来对CommitLog的设计思想和源码进行分析。

RocketMQ版本5.0.0

1. CommitLog示意图

CommitLog是对RocketMQ的存储的抽象,示意图如下:

CommitLog 主要由几部分组成:

  • MappedFileQueue: 主要用来操作相关数据存储文件。将一系列的MappedFile抽象成一个队列。
  • FlushManager: 数据落地磁盘的管理,主要分为两类:实时数据刷盘(FlushRealTimeService),以及异步刷盘(GroupCommitService)
  • FlushDiskWatcher: 刷盘观察者,处理队列中的刷盘请求,对于规定时间内没有刷盘成功的进行处理。

Tips: 多目录存储参照RIP-7

CommitLog 底层主要是通过FileChannel来实现。其中还有一些RocketMQ的自身优化,例如: TransientStorePool。

2. MappedFileQueue

MappedFileQueue 是对数据存储文件的一个抽象,将多个数据文件抽象成为一个文件队列。通过这个文件队列对文件进行操作操作。同时保存一些 CommitLog 的属性。来看一下MappedFileQueue中的几个重要的属性:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值