为什么kafka使用磁盘而不是内存

最新推荐文章于 2025-09-10 23:32:01 发布
最新推荐文章于 2025-09-10 23:32:01 发布
阅读量7.7k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/endlu/article/details/51392905
本文探讨了Kafka为何选择磁盘而非内存作为主要存储介质的原因。通过对比磁盘顺序读写与内存随机访问的速度，指出Linux系统的磁盘优化机制如read-ahead和write-behind如何提升了磁盘操作效率。此外，还分析了使用磁盘存储可以减少JVM GC负担，提高整体性能。

Kafka最核心的思想是使用磁盘，而不是使用内存，可能所有人都会认为，内存的速度一定比磁盘快，我也不例外。在看了Kafka的设计思想，查阅了相应资料再加上自己的测试后，发现磁盘的顺序读写速度和内存持平。

而且Linux对于磁盘的读写优化也比较多，包括read-ahead和write-behind，磁盘缓存等。如果在内存做这些操作的时候，一个是JAVA对象的内存开销很大，另一个是随着堆内存数据的增多，JAVA的GC时间会变得很长，使用磁盘操作有以下几个好处：

  • 磁盘缓存由Linux系统维护，减少了程序员的不少工作。
  • 磁盘顺序读写速度超过内存随机读写。
  • JVM的GC效率低，内存占用大。使用磁盘可以避免这一问题。
  • 系统冷启动后，磁盘缓存依然可用。
end
关注
专栏目录
【项目实战】如何通过总的用户数据计算单台kafka所需磁盘容量？
本本本添哥
01-04 422
项目中需要用到Kafka来承接车机上来的接口数据，然后再转存到数据库，客户反馈，需要对生产环境中的Kafka的存储容量进行评估。以下是具体的算法内容
为什么说Kafka使用磁盘比内存快
weixin_33709590的博客
01-25 802
学习过[跟我学Kafka源码之LogManager分析]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的缓存。 其实Kafka最核心的思想是使用磁盘，而不是使用内存，可能所有人都会认为，内存的速度一定比磁盘快，我也不例外。在看了Kafka的设计思想，查阅了相应资料再加上自己的测试后，发现磁盘的顺序读...
kafka：为什么说Kafka使用磁盘比内存快
不花的花和尚的博客
09-25 3358
Kafka最核心的思想是使用磁盘，而不是使用内存，可能所有人都会认为，内存的速度一定比磁盘快，我也不例外。 在看了Kafka的设计思想，查阅了相应资料再加上自己的测试后，发现磁盘的顺序读写速度和内存持平。        而且Linux对于磁盘的读写优化也比较多，包括read-ahead和write-behind，磁盘缓存等。 如果在内存做这些操作的时候，一个是JAVA对象的内存开销很大，另一...
5个实战技巧！kafka-ui JVM内存占用直降50%
最新发布
gitblog_00331的博客
09-10 333
你是否遇到过kafka-ui页面卡顿、频繁OOM（内存溢出）错误，或者服务器内存占用过高导致运维成本飙升？作为管理Apache Kafka集群的重要工具，kafka-ui的性能直接影响日常运维效率。本文将通过5个实战技巧，帮助你精准优化JVM参数、精简配置文件、合理分配容器资源，让kafka-ui运行更轻盈，内存占用减少50%以上。读完本文你将掌握：JVM参数调优方法、配置文件精简方案、容器化部署...
kafka怎么做到基于磁盘却比内存还快？
m0_67505824的博客
03-29 771
相信看见题目的同学都会很有疑问，甚至不服气，这都是基于个人对于kafka原理的理解，我可以说磁盘顺序写要比内存的随机读快吧。但是说到底，基于性能的优化方面，还是离不开内存的。 Kafka作为一个支持大数据量写入写出的消息队列，由于是基于Scala和Java实现的，而Scala和Java均需要在JVM上运行，所以如果是基于内存的方式，即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写，从而会导致GC频繁影响性能。考虑到这些因素，kafka是使用磁盘存储数据的。 kafka文件存储形式 Kafka
Kafka存储（为什么Kafka使用磁盘作为存储介质
m0_60226911的博客
03-19 1100
本章主要讲述了Kafka中与存储相关的知识点，包含了Kafka自身的日志格式日志索引日志清理等方面的内容，也涉及到底层物理存储相关的知识。通过本章的学习，可以Kafka核心机理有较深入的认知。小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
【kafka】记一次kafka磁盘空间爆满问题处理
运维呆子 的博客
09-23 6470
解决kafka 的__consumer_offsets 磁盘空间占用过多问题
Kafka为什么吞吐量大、速度快？
qq_37163076的博客
07-02 1761
通过这种分区分段的设计，Kafka的message消息实际上是分布式存储在一个一个小的segment中的，每次文件操作也是直接操作的segment。最明显的就是使用批次。Kafka速度的秘诀在于，它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络IO损耗，通过mmap提高I/O速度，写入数据的时候由于单个Partition是末尾添加所以速度最优；通过操作系统的Page Cache，Kafka的读写操作基本上是基于内存的，读写速度得到了极大的提升。Kafka数据读写也是批量的而不是单条的。
kafka占用磁盘空间过大
mianhuabushitang的博客
09-30 7025
生产环境服务器目前生产上kafka占用磁盘地方过大。运维建议优化。因为数据量大。且数据会备份到mongodb，所以kafka数据不需要保存太久。 目前kafka 使用的是默认配置，默认配置中有两项配置可优化 log.retention.hours清理超过指定时间清理 log.retention.bytes超过指定大小后，删除旧的消息 目前默认配置 存放时间是7天而且大小无限大，我们可以将存放时间缩小且设定默认大小（存在风险是可能会丢数据） 注：日志的真正清除时间。...
为什么Kafka那么快
weixin_70730532的博客
06-12 551
网上有很多Kafka的测试文章，测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章，我会重点解释——为什么真快。（当然不是因为它用了Scala！！！！）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。 Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“
kafka 笔记七 kafka磁盘存储
文报的博客
08-26 1503
1 零拷贝 kafka高性能，是多方面协同的结果，包括宏观架构、分布式partition存储、ISR数据同步、以及“无所不用其极”的高效利用磁盘/操作系统特性。 零拷贝并不是不需要拷贝，而是减少不必要的拷贝次数。通常是说在IO读写过程中。 传统IO 比如：读取文件，socket发送 传统方式实现：先读取、再发送，实际经过1~4四次copy。 1、第一次：将磁盘文件，读取到操作系统内核缓冲区； 2、第二次：将内核缓冲区的数据，copy到application应用程序的buffer； 3、
Kafka面试小结八：kafka数据存储在内存还是磁盘
之乎者也·的博客
10-31 2503
然后，Kafka使用一定的时间间隔将缓存中的消息批量写入磁盘。缓存的大小可以通过Kafka配置中的`log.flush.interval.messages`和`log.flush.interval.ms`参数来配置。当缓存中的消息被写入磁盘时，它们被追加到一个或多个日志文件中。需要注意的是，Kafka的数据存储在磁盘上是持久的，而在内存中的缓存则具有一定的容量限制。当缓存的大小达到了阈值或者达到了一定的时间间隔时，Kafka会将缓存中的消息写入磁盘，以确保数据的安全性和可靠性。
Kafka的数据放在磁盘上还是内存上，为啥速度会快
weixin_45417821的博客
09-21 4183
kafka使用的是磁盘存储。 速度快是因为： 1，顺序写入，因为磁盘是机械结构，每次读写都会寻址 -> 写入，其中寻址是一个机械动作，他是耗时的，所以磁盘很讨厌 随机IO , 喜欢顺序IO，为了提高读写硬盘的速度，kafka用的就是顺序IO。 2，Memory Mapped Files（内存映射文件），64位操作系统中一般可以表示20G的数据文件，他的工作原理是直接利用操作系统的page （内存管理单元） 来实现文件到物理内存的直接映射，完成映射后，对物理内存的操作会被同步到磁盘上。 3，kafka
基于磁盘的Kafka为什么这么快
陌陌龙的博客
05-09 968
通过这种分区分段的设计，Kafka的message消息实际上是分布式存储在一个一个小的segment中的，每次文件操作也是直接操作的segment。总结起来，Kafka采用顺序读写、Page Cache、零拷贝以及分区分段等这些设计，再加上在索引方面做的优化，另外Kafka数据读写也是批量的而不是单条的，使得Kafka具有了高性能、高吞吐、低延时的特点。磁盘的顺序读写是磁盘使用模式中最有规律的，并且操作系统也对这种模式做了大量优化，Kafka就是使用了磁盘顺序读写来提升的性能。
【Kafka】Kafka基于磁盘却这么快的原因在哪？
Together
06-19 333
首先，Kafka 作为一个消息系统，通过 topic 的方式来管理 message，把这些消息都顺序写入磁盘文件来提高写入速度，其实这些消息并没有实时写入磁盘，而是充分利用了现代操作系统分页存储来利用内存提高IO效率。 其次，它的工作原理是直接利用操作系统的 page 来实现文件到物理内存的直接映射。完成映射之后你对物理内存的操作会被同步到硬盘上（操作系统在适当的时候）。 再次，Kafka 也基于 sendfile 实现 zero copy，简化网络上和两个本地文件之间的数据传输，sendfile 的引入.
kafka：为什么Kafka可以高效快速的存储
不花的花和尚的博客
09-25 1459
总结下： 1.顺序写入 因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最“讨厌”随机I/O，最喜欢顺序I/O。为了提高读写硬盘的速度，Kafka就是使用顺序I/O。如果一个topic建立多个分区那么每个parathion都是一个文文件，收到消息后Kafka会把数据插入到文件末尾。   2. Memory Mapped Files（内存映射...
kafka为什么怎么快
08-17
Kafka 的高性能主要归因于其在多个维度上的优化设计，使其能够在高并发和大数据量的场景下表现出色。以下是一些关键因素： 1. **顺序 I/O** Kafka 在磁盘读写时采用了顺序 I/O 的方式，而非随机 I/O。顺序 I/O 在磁盘操作中具有更高的效率，因为磁盘的机械臂移动较少，从而减少了寻道时间，提升了吞吐量。这一设计使得 Kafka 能够以接近内存的速度进行磁盘读写 [^1]。 2. **零拷贝（Zero Copy）** 在消费者端，Kafka 利用了零拷贝技术，减少了数据在内存中的拷贝次数。传统的数据传输过程通常需要多次用户态与内核态之间的切换，而零拷贝技术直接将数据从磁盘文件传输到网络套接字，避免了不必要的内存拷贝，从而降低了 CPU 和内存的开销 [^1]。 3. **批量处理（Batching）** Kafka 在生产者端通过 `batch.size` 和 `linger.ms` 参数控制消息的批量发送。批量处理减少了网络请求的次数，提高了吞吐量。同时，Broker 端也支持批量写入，进一步提升了磁盘的写入效率 。 4. **PageCache 利用** Kafka 高度依赖操作系统的 PageCache 来缓存数据，而不是自己管理缓存。PageCache 可以将频繁访问的数据保留在内存中，从而减少磁盘 I/O 的需求。这种设计不仅提高了读写性能，还减少了 JVM 堆内存的压力 。 5. **分区与分段（Partitioning and Log Segmentation）** Kafka 将每个主题的消息分为多个分区（Partition），并且每个分区又被划分为多个日志段（Log Segment）。这种分层结构使得 Kafka 能够水平扩展，同时简化了数据的管理和检索。分区机制还支持并行处理，提高了系统的吞吐能力 [^1]。 6. **压缩技术（Compression）** Kafka 在生产者和 Broker 端采用了数据压缩技术，以 CPU 时间换取更少的磁盘空间和网络带宽。常见的压缩算法包括 GZIP、Snappy 和 LZ4。压缩减少了存储和传输的开销，从而提升了整体性能 [^2]。 7. **设计目标：高吞吐量** Kafka 的设计初衷是最大化吞吐量，而非最小化延迟。这种设计理念使其在处理海量数据时表现尤为优异，适用于日志收集、事件溯源、流处理等场景。 ### 示例代码：Kafka 生产者配置批量发送 以下是一个简单的 Kafka 生产者配置示例，展示了如何通过 `batch.size` 和 `linger.ms` 参数优化性能： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 批量发送配置 props.put("batch.size", 16384); // 批量大小为 16KB props.put("linger.ms", 10); // 等待 10 毫秒以积累更多消息 KafkaProducer<String, String> producer = new KafkaProducer<>(props); ``` ### 总结 Kafka 的高性能来源于其在磁盘 I/O、网络传输、数据压缩、缓存管理等多个方面的综合优化。它通过顺序写入、零拷贝、批量处理、PageCache、分区与分段、压缩等技术手段，实现了高效的吞吐能力，特别适合大规模数据流的处理场景。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值