RocketMQ怎么对文件进行读写的？

最新推荐文章于 2024-08-12 14:38:43 发布

喝醉的小鲁班

最新推荐文章于 2024-08-12 14:38:43 发布

阅读量824

点赞数 23

文章标签： rocketmq

本文链接：https://blog.csdn.net/Kenard/article/details/141073031

版权

RocketMQ 对文件的读写主要依赖于其底层的存储机制，核心组件是 CommitLog 和 ConsumeQueue，并且通过 MappedFile 类来进行高效的文件操作。以下是 RocketMQ 文件读写的详细介绍：

1. CommitLog

CommitLog 是 RocketMQ 的核心存储文件，所有的消息都会首先写入 CommitLog 中。它是一个顺序写入的文件，保证了写入的高效性。

写入流程
1.顺序写入：消息生产者发送的消息被写入到 CommitLog 中。由于是顺序写入，磁盘的写入效率非常高。
2.预分配文件：RocketMQ 预先分配一系列固定大小（通常是 1GB）的 CommitLog 文件，当一个文件写满时，自动切换到下一个文件继续写。
3.文件映射：通过 MappedByteBuffer 将 CommitLog 文件映射到内存中，以提高文件读写性能。
4.刷盘策略：
4.1同步刷盘：每次消息写入 CommitLog 后，立即将数据刷入磁盘，保证消息的持久性。适合对数据可靠性要求高的场景。
4.2异步刷盘：消息写入 CommitLog 后，先写入内存，后续由后台线程异步将数据刷入磁盘，适合对性能要求高但容忍一定延迟的场景。

读取流程
1.顺序读取：由于消息是顺序写入的，读取时也是顺序读取，因此能够高效地从磁盘读取数据。
2.内存映射文件：使用 MappedFile 和 MappedByteBuffer，将文件映射到内存中，直接通过内存进行数据的读写操作。

2. ConsumeQueue

ConsumeQueue 是 RocketMQ 的逻辑队列，用来存储消息的索引信息，帮助消费者快速定位到 CommitLog 中的具体消息。

写入流程
1.消息索引：当消息写入 CommitLog 后，RocketMQ 会生成对应的 ConsumeQueue 条目，包括 CommitLog 的物理偏移量、消息大小、消息标签等信息。
2.顺序写入：ConsumeQueue 的写入也是顺序进行的，将索引信息顺序写入 ConsumeQueue 文件。
读取流程
1.消息定位：消费者根据 ConsumeQueue 中的索引信息，快速定位到 CommitLog 中对应的消息偏移量，然后从 CommitLog 中读取完整的消息。
2.缓存机制：ConsumeQueue 也使用 MappedFile 进行文件映射，提高读取速度。

3. MappedFile

MappedFile 是 RocketMQ 中的核心类，用于将磁盘文件映射到内存中，实现高效的文件读写操作。

主要功能
文件映射：通过 MappedByteBuffer 将磁盘文件映射到虚拟内存空间，文件的读写操作变成内存的读写，提升了性能。
顺序写入：MappedFile 的写入操作是顺序进行的，这与操作系统的磁盘顺序写入机制一致，能够充分利用磁盘的 I/O 性能。
异步刷盘：通过 flush 操作将内存中的数据异步写入磁盘，以减少刷盘带来的 I/O 开销。