架构篇：Kafka和RokcetMQ高性能底层支撑技术零拷贝原理详解

众所周知，Kafka和RocketMQ高性能除了本身的某些设计之后，最重要的是实现零拷贝技术。通过采用零拷贝大大提供了应用性能，减少了内核和用户模式之间的上下文切换次数。那么什么是零拷贝，如何实现零拷贝呢？

什么是零拷贝

WIKI中对其有如下定义：

"Zero-copy" describes computer operations in which the CPU does not perform the task of copying data from one memory area to another.

从WIKI的定义中，我们看到“零拷贝”是指计算机操作的过程中，CPU不需要为数据在内存之间的拷贝消耗资源。而它通常是指计算机在网络上发送文件时，不需要将文件内容拷贝到用户空间（User Space）而直接在内核空间（Kernel Space）中传输到网络的方式。

零拷贝给我们带来的好处

• 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务
• 减少内存带宽的占用
• 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换

零拷贝的实现

零拷贝实际的实现并没有真正的标准，取决于操作系统如何实现这一点。零拷贝完全依赖于操作系统。操作系统支持，就有；不支持，就没有。不依赖Java本身。

传统I/O

我们以文件下载为例。

在传统LINUX环境中，分为用户空间和内核空间。用户空间可以理解为JVM，JVM是没有权利去调用启动对进程的权限的，因为这部分内容是CPU的内核空间控制。所以，如果要下载文件，JVM先启动一个线程首先得去内核空间申请这一个请求，进行read操作，当内核空间从磁盘开始读文件时，根据LINUX内部机制，会首先将数据放到页缓存中，当页缓存达到存储容量后，进行刷盘，统一将所有数据刷到内存，这时JVM读到数据后，进行后续的写操作。同样，对应的socket层和网络是LINX控制，还需要继续拷贝数据导socket和网络层将数据写到本地。如下图：

由图可知，上面过程产生了四次数据拷贝，而此过程，我们没有对文件内容进行任何修改，那么，在内核空间和用户空间中来回拷贝数据无意是对性能的一种浪费，而零拷贝就是为了解决这种低效性。

什么是零拷贝技术？

零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储，主要就是利用各种零拷贝技术，避免让CPU做大量的数据拷贝任务，减少不必要的拷贝，或者让别的组件来做这一类简单的数据传输任务，让CPU解脱出来专注于别的任务。这样就可以让系统资源的利用更加有效。

原理是磁盘上的数据会通过DMA被拷贝的内核缓冲区，接着操作系统会把这段内核缓冲区与应用程序共享(可以理解为Kafka或RocketMQ通过某种技术手段进行了映射)，这样就不需要把内核缓冲区的内容往用户空间拷贝。应用程序再调用write(),操作系统直接将内核缓冲区的内容拷贝到socket缓冲区中，这一切都发生在内核态，最后，socket缓冲区再把数据发到网卡去。

原理如下：

解释：

mmap是一种内存映射文件的方法。

mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。

对于零拷贝来说，现在应用范围越来越广，比如NIO等，其实对于Kafka和RokectMQ来说，零拷贝技术只是其提高性能的一种手段，关于其他的各自独有设计，会后续持续更新，欢迎关注。

以上为全部内容。