Kafka高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解

大家都知道Kafka是将数据存储于磁盘的，而磁盘读写性能往往很差，但Kafka官方测试其数据读写速率能达到600M/s，那么为什么Kafka性能会这么高呢？

首先producer往broker发送消息时，采用batch的方式即批量而非一条一条的发送，这种方式可以有效降低网络IO的请求次数，提升性能。此外这些批次消息会"暂存"在缓冲池中，避免频繁的GC问题。批量发送的消息可以进行压缩并且传输的时候可以进行高效的序列化，从而减少数据大小。

Kafka除了在producer发送消息方面做了很多优化，还有很多其他的优化，比如Kafka利用了sequence IO、PageCache、SendFile这3种处理方案：

sequence IO

首先来了解一下磁盘的特性：快速顺序读写、慢速随机读写。因为磁盘是典型的IO块设备，每次读写都会经历寻址，其中寻址中寻道是比较耗时的。随机读写会导致寻址时间延长，从而影响磁盘的读写速度。

大家有没有想过MapReduce进行shuffle的时候，为什么map端和reduce端要进行排序，不排序不也不影响正常业务的处理，排序反而因为消耗资源增加了处理时间？

以map端为例，执行过程中会产生很多小文件，这些小文件要经历归并排序等一系列处理后才会被reduce端进行处理。提前对未合并的文件进行排序正是利用了磁盘快速顺序读写的特性来提高归并排序的速度。

而Kafka在将数据持久化到磁盘时，采用只追加的顺序写，有效降低了寻址时间，提高效率。下图展示了Kafka写入数据到partition的方式：