Kafka 高效读写数据的原因

最新推荐文章于 2024-12-20 16:29:32 发布

潘书鹏的BigData

最新推荐文章于 2024-12-20 16:29:32 发布

阅读量2.1k

点赞数 8

分类专栏： Kafka 文章标签： kafka 大数据

本文链接：https://blog.csdn.net/weixin_45749011/article/details/106633114

版权

文章目录

1. 顺序写磁盘

Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁
盘，顺序写能到600M/s，而随机写只有100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的
时间。

2. 分段日志 + 索引文件

分段日志是通过数据的偏移量进行存储，索引文件是能快速定位所要查询数据的位置

1、Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，
减少磁盘占用。
2、通过索引信息可以快速定位message和确定response的最大大小。
3、通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。
4、通过索引文件稀疏存储，可以大幅降低index文件元数据占用空间大小。