RocketMQ存储篇——IndexFile和IndexService

最新推荐文章于 2024-08-04 21:30:00 发布
最新推荐文章于 2024-08-04 21:30:00 发布
阅读量4.1k 收藏 6
点赞数 3
分类专栏： RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/meilong_whpu/article/details/76921583
版权
本文详细介绍了RocketMQ的IndexFile结构，包括数据结构、写入索引消息和根据topic-key获取物理偏移量的过程。同时阐述了IndexService的功能，包括创建消息索引和提供查询接口，如何处理冲突以及定时持久化。
摘要由CSDN通过智能技术生成

1 IndexFile

为操作Index文件提供访问服务,Index文件的存储位置是：$HOME \store\index\${fileName}，文件名fileName是以创建时的时间戳命名的，文件大小是固定的，等于40+500W*4+2000W*20= 420000040个字节大小。
这里写图片描述

1.1 Index文件的数据结构

这里写图片描述
Index Header结构各字段的含义：

beginTimestamp：第一个索引消息落在Broker的时间戳；

endTimestamp：最后一个索引消息落在Broker的时间戳；

beginPhyOffset：第一个索引消息在commitlog的偏移量；

endPhyOffset：最后一个索引消息在commitlog的偏移量；<

最低0.47元/天 解锁文章
meilong_whpu
关注
专栏目录
RocketMQ存储之IndexFile
feijianke666的博客
08-09 528
一、功能概述 IndexFile提供了可以通过key或时间区间来查询消息的功能。IndexFile的功能很简单，但是文件的结构要比CommitLog和ConsumeQueue要复杂些。本篇我们分析IndexFile的实现细节。 二、源码分析
RocketMQ源码分析（一）： 索引文件(IndexFile)
rodbate的博客
12-11 5124
前引： RocketMQ – 阿里贡献给Apache的消息中间件，现已升级为Apache顶级项目, GITHUB项目地址。一，索引文件(IndexFile)物理结构一个索引文件从整体上可以分为header和其它部分(body)。整个索引文件对应类org.apache.rocketmq.store.index.IndexFile, header对应类org.apache.rocketmq.store.
RocketMQ 的消息存储机制
最新发布
FireFox1997
08-04 917
RocketMQ 的消息存储主要基于磁盘进行持久化，采用顺序写入的方式来提升写入性能。CommitLog：用于存储所有的消息内容，是消息存储的核心文件。：消息消费队列，是 CommitLog 的索引文件，记录消息在 CommitLog 中的偏移量和大小。IndexFile：消息索引文件，提供消息的快速检索功能。RocketMQ 的消息存储机制通过顺序写入、分区与文件分片、MappedFile 等技术，实现了高效的消息存储和读取。
【RocketMQ工作原理】indexFile
LoveSummer
09-11 599
除了通过通常的指定Topic进行消息消费外，RocketMQ还提供了根据key进行消息查询的功能。该查询 是通过store目录中的index子目录中的indexFile进行索引实现的快速查询。当然，这个indexFile中的索 引数据是在包含了key的消息被发送到Broker时写入的。如果消息中没有包含key，则不会写入。 索引条目结构 每个Broker中会包含一组indexFile，每个indexFile都是以一个时间戳命名的（这个indexFile被创建时 的时间戳）。每个indexFile文件由三部分
RocketMQ源码解析——存储部分(5)IndexFile消息索引日志文件相关的`IndexService`类
szhlcy的博客
04-22 361
文章目录IndexFile文件讲解概述文件结构IndexFile文件相关的类IndexFile头文件相关的`IndexHead`类IndexFile读写相关的`IndexFile`类字段属性内部方法分析构造方法保存key对应index的`putKey`方法根据时间区间查询和key来进行查询消息的`selectPhyOffset`方法操作IndexFile文件集合的`IndexService`字段属性内部方法构造方法创建消息索引和保存的`buildIndex`根据消息以及时间范围查询消息集合的`queryOf
RocketMQ原理解析-broker 6.索引服务
斩秋的专栏
09-09 7752
索引结构 IndexFile 存储具体消息索引的文件，文件的内容结构如图：
RocketMQ IndexFile 索引文件 源码解析
金甲虫的博客
03-01 989
1. 概述 1.1 索引文件是什么 IndexFile，又可以称作索引文件，是 RocketMQ 保存在磁盘上的一种文件，属于 RocketMQ 存储的一部分。它的结构类似于类似 JDK中 HashMap。 可以通过messageIndexEnable属性配置打开或关闭 IndexFile 存储功能。 1.2 索引文件作用 索引文件的应用场景其实比较局限，是为了提供按照 Message Key 查询消息的能力。索引文件可以通过 Message Key，查询到消息在 CommitLog 中的物理偏移量，进而从
RocketMQ存储篇——整体结构以及MappedFile讲解
meilong_whpu的专栏
08-08 5430
讲解RocketMQ的数据存储整体结构以及大文件操作对象MapedFile
RocketMQ——Broker篇
热门推荐
meilong_whpu的专栏
08-09 1万+
1 Broker的初始化过程调用BrokerController对象的initialize方法进行初始化工作。大致逻辑如下：1、加载topics.json、consumerOffset.json、subscriptionGroup.json文件，分别将各文件的数据存入TopicConfigManager、ConsumerOffsetManager、SubscriptionGroupManager对
RocketMQ学习(三)——底层存储设计
hxyascx的博客
10-24 2633
MQ消息队列的一般存储方式 当前业界几款主流的MQ消息队列采用的存储方式主要有以下三种方式： （1）分布式KV存储： 这类MQ一般会采用诸如levelDB、RocksDB和Redis来作为消息持久化的方式，由于分布式缓存的读写能力要优于DB，所以在对消息的读写能力要求都不是比较高的情况下，采用这种方式倒也不失为一种可以替代的设计方案。消息存储于分布式KV需要解决的问题在于如何保证MQ整体的可靠性？...
IndexService开发案例
09-15
通过Windows内建的Index Service，构建属于自己的全文检索引擎
RocketMQ源码分析讲解
08-04
RocketMQ存储篇中会详细介绍消息的存储结构，包括CommitLog和ConsumeQueue两种文件类型的设计和作用。在RocketMQ中，消息的存储和管理是非常核心的部分，它涉及到了消息的顺序写入、随机读取、文件刷盘、文件的预...
RocketMQ IndexFile（索引文件）
LZJLZJLZJLZJLZJLZJ的专栏
04-09 1635
目录说明索引建立过程IndexFile文件结构总结 说明 RocketMQ支持根据消息的key进行消息查询，由于消息都是顺序存在MapperFile上，当需要根据指定的key进行消息查找时，只能对所有的消息进行遍历，显然这种方法是不可取的。为了提高消息查询效率，RocketMQ会为每条消息里的key建立索引，加快消息的检索。 ReputMessageService，会不停地检测是否有新的消息还未建立索引，当发现某条消息还未建立索引时，会将建立索引的任务分发给CommitLogDispatcherBuildI
RocketMQ 笔记3 IndexFile
ry的专栏
05-16 517
IndexFile大小固定，文件名是创建时候的时间戳IndexHeader(40字节)    Slot Table(500w * 4字节)   Index Linked List(4 * 500W * 20字节)IndexHeader结构beginTimestamp(8)   第一个索引消息保存broker的时间戳endTimestamp(8)    最后一个索引消息保存broker的时间戳beg...
RocketMQ【消息存储】之IndexFile
weixin_43420030的博客
06-04 522
indexFile详解
RocketMQ IndexFile 详解
黎明就要到来
06-21 1178
该文所涉及的 RocketMQ 源码版本为 4.9.3。
RocketMQ（六）—IndexFile详解
稷下学员的笔记博客
12-26 3377
IndexFile 除了通过指定Topic进行消息消费外，RocketMQ还提供了根据Key进行消息查询的功能。该查询通过store/index/infdexFile进行索引实现的快速查询。这个indexFile中的索引数据是包含Key的消息被发送到Broker时写入的。如果消息中没有Key，不会被写入。 索引条目结构 每个Broker包含一组indexFile，每个indexFile都是以该indexFile被创建时的时间戳进行命名的。 每个indexFile由三部分组成：indexHeader（
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值