5.算法进阶——kafka消息查询（二分法）——稀疏索引与B+树索引的对比

已于 2022-06-04 16:37:59 修改
阅读量1.7k 收藏 8
点赞数 2
分类专栏： 算法进阶实战 文章标签： kafka 分布式
于 2022-06-02 20:40:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xystrive/article/details/125106442
版权
本文介绍了Kafka的分布式消息系统特性，探讨了如何在已知offset的情况下通过日志索引查找消息。文章讨论了Kafka采用的稀疏索引相对于B+树索引的优势，包括节省空间和利用二分法提高查询效率。同时，解释了为何Kafka选择不支持删改操作的稀疏索引，以及MySQL为何使用支持删改的B+树索引。
摘要由CSDN通过智能技术生成

Kafka介绍

Kafka 是一款性能强大且相当常用的分布式消息队列，常常用于对流量进行消峰、解耦系统和异步处理部分逻辑以提高性能的场景。
在kafka中，所有的消息都以日志的形式存储。这种日志只允许追加新数据，不允许修改之前文件内容

日志文件的存储方式：每个topic有多个partition，每个patition有多个有序日志段
在这里插入图片描述

已知offset,如何查找日志

即如何为日志文件建立一个索引，这里很关键的一个问题在于offset是自然线性增长的，是有序的

我们来看一个topic中一个patition的日志文件格式：


00000000000000000000.log //消息体本身日志
00000000000000000000.index //索引
00000000000000000000.timeindex //时间索引
最低0.47元/天 解锁文章
Strive for the best！
关注
专栏目录
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
kafka技术增强
我的祖传代码
08-17 885
目录 1 kafka整体结构图 2 Consumer与topic关系 3 kafka消息的分发 4 Consumer的负载均衡 5 kafka文件存储机制 5.1 kafka文件存储基本结构 5.2 kafka Partition Segment 5.3 kafka查找message 5.3.1 查找segment file 5.3.2 通过segment file查找m...
kafka学习（三）：kakfa消息处理、索引、零拷贝
weixin_40482816的博客
10-24 1271
综上，这三层语义，没有好坏之分，主要看具体的应用场景。例：允许数据丢失，但追求高性能，使用 at most once 至多一次。对数据精度要求非常高，一条不能丢并且结果严格正确，使用exactly once。很多框架默认是第二种（折中的），如何降低数据重复处理的可能行呢？可以适当调高超时时间，尤其是网络环境不好时。
从底层原理上理解ClickHouse 中的稀疏索引
最新发布
goTsHgo的博客
09-12 1172
ClickHouse 的稀疏索引通过记录部分数据块的排序键信息，帮助查询引擎快速确定哪些块包含可能满足条件的数据，从而减少不必要的块扫描。这种索引设计非常适合大规模批量数据分析场景，能够有效提高查询速度，特别是在按排序键进行范围查询时。然而，它并非万能，对于高基数列或小范围精确查询，稀疏索引的效果可能不如其他传统索引结构明显。稀疏索引的核心优势在于其简洁、高效、维护成本低，适用于数据量巨大、查询复杂的 OLAP 场景。
kafka中的稀疏索引
guo158799的博客
07-12 344
生产者生产的数据会不断追加到 log 文件中，如果 log 文件很大了，就会导致定位数据变慢，因此 kafka 会将大的 log 文件分为多个 segment，每个 segment 会对应.log 文件和.index 文件和.timeindex 文件，.log 存储数据，.index 存储偏移量索引信息，.timeindex 存储时间戳索引信息。当消费者需要读取特定偏移量的消息时，它首先使用这个稀疏索引来确定消息所在的数据文件的大致位置，然后再从这个位置开始顺序读取，直到找到所需的消息。
大数据面试之Kafka
zjjcchina的博客
09-22 109
根据经验， 4 核 CPU 处理几 十个线程在高峰期会打满， 8 核勉强够用， 而且再考虑到集群上还要运行其他的服务， 所以 部署 Kafka 的服务器一般建议在 16 核以上可以应对一两百个线程的工作， 如果条件允许， 给到24 核甚至 32 核就更好。（4） compression.type： 默认是 none， 不压缩， 但是也可以使用 lz4 压缩， 效率还是不 错的， 压缩之后可以减小数据量， 提升吞吐量， 但是会加大 producer 端的 CPU 开销。（2） 基于大小： 默认关闭。
kafka的索引机制
Rocky
04-02 2555
概述 数据文件的分段和索引 kafka解决查询效率的手段之一是将数据文件分段存储，可以配置每一个文件的大小。每一个端单独放在一个.log的文件中，数据文件命名是20个字符的长度，以每一个分段文件开始的最下offset来命名，其他位置用0填充。最初始的文件是00000000000000000000.log命名的，比如下一个log中的第一条消息的offset是18987，则该log文件的命名是00...
KOA+egg.js集成kafka消息队列的示例
01-01
Kafka：高吞吐量的分布式发布订阅消息系统 本文章将集成egg + kafka + mysql 的日志系统例子 系统要求：日志记录，通过kafka进行消息队列控制 思路图： 这里消费者和生产者都由日志系统提供 λ.1 环境准备 ①Kafka...
kafka 四 Kafka读写流程、LEO log end offset、物理存储 稠密索引 稀疏索引 、Kafka物理存储、深入了解读数据流程、删除消息
银河系天城知识宝库_技术专家蒋浩宇
06-09 1382
段包含 index log timeindex snapshot。
稀疏索引与其在Kafka和ClickHouse中的应用
大数据星球-浪尖
01-29 502
Sparse Index在以数据库为代表的存储系统中，索引（index）是一种附加于原始数据之上的数据结构，能够通过减少磁盘访问来提升查询速度，与现实中的书籍目录异曲同工。索引通常包含...
8张图带你全面了解kafka的核心机制
m0_73311735的博客
05-17 324
kafka是目前企业中很常用的消息队列产品，可以用于削峰、解耦、异步通信。特别是在大数据领域中应用尤为广泛，主要得益于它的高吞吐量、低延迟，在我们公司的解决方案中也有用到。既然kafka在企业中如此重要，那么本文就通过几张图带大家全面认识一下kafka，现在我们不妨带入kafka设计者的角度去思考该如何设计，它的架构是怎么样的、都有哪些组件组成、如何进行扩展等等。其实kafka中的细节十分多，本文也只是对kafka的一些核心机制从理论层面做了一个总结，更多的细节还是需要自行去实践，去学习。
Elasticsearch7.x DSL语法之索引管理
程序员小强的博客
12-28 7016
1.查看索引 #查看所有索引 GET /_cat/indices #查看指定索引文档总数 GET movies/_count #查看所有索引文档总数 GET _all/_count #查看单个索引分片信息 GET /_cat/shards/my_index?v 2.创建索引 2.1指定分片数量 2个分片，2个副本 #创建索引(并且指定分片数量) PUT my_index1 { "settings": { "number_of_shards": 2, "number_of_rep
【Kafka专题】Kafka日志索引详解以及生产常见问题分析与总结
qq_32681589的博客
10-03 1310
了解了文件存储日志文件的特点及数据内容。
Kafka高性能设计_3
959
02-11 774
文章目录1.消费消息的性能优化手段1.1 稀疏索引1.2 mmap1.3 零拷贝1.4 批量拉取 1.消费消息的性能优化手段 1.1 稀疏索引 Kafka 利用offset 和 timestamp 查到消息。 B Tree 类的索引并不适用于 Kafka。哈希索引看起来却非常合适。 为了加快读操作，如果只需要在内存中维护一个「从 offset 到日志文件偏移量」的映射关系即可，每次根据 offset 查找消息时，从哈希表中得到偏移量，再去读文件即可。（根据 timestamp 查消息也可以采用同样的思路.
MQ——Kafka日志存储原理
庄小焱
04-29 850
摘要 主要是介绍的kafka的日志存储系统 文件目录布局 回顾之前所学的知识:Kafka 中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区，分区的数量可以在主题创建的时候指定，也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中，分区中的每条消息都会被分配一个唯一的序列号，也就是通常所说的偏移量(offset)，具有4个分区的主题的逻辑结构见图1-2。 如果分区规则设置得合理，那么所有的消息可以均匀地分布到不同的分区中，这样就可以实
MergeTree原理之二级索引
进击的数据小白
12-28 1073
除了一级索引之外，MergeTree同样支持二级索引，二级索引又称跳数索引，由数据的聚合信息构建而成。根据索引类型的不同，其聚合信息的内容也不同，当然跳数索引的作用和一级索引是一样的，也是为了查询时减少数据的扫描范围
【查找算法】顺序、二分、索引、哈希
TinyHorse的博客
09-05 869
查找算法
从二分查找到B+树索引原理
5块
11-01 886
从二分查找到B+树索引原理 从二分查找到B+树索引原理 如果现在有一张表t，id为主键，有以下SQL语句： --设在a列上创建了索引 select a from t where a >= 80; select id, a from t where a >= 80; select * from t where a >= 80; --设创建了(a,b,c)联合索引 select
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值