零拷贝-Kafka和RokcetMQ高性能底层

1.什么是零拷贝

WIKI中对其有如下定义：

“Zero-copy” describes computer operations in which the CPU does not perform the task of copying data from one memory area to another.

从WIKI的定义中，我们看到“零拷贝”是指计算机操作的过程中，CPU不需要为数据在内存之间的拷贝消耗资源。而它通常是指计算机在网络上发送文件时，不需要将文件内容拷贝到用户空间（User Space）而直接在内核空间（Kernel Space）中传输到网络的方式。

零拷贝给我们带来的好处

减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务
减少内存带宽的占用
通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换

零拷贝的实现

零拷贝实际的实现并没有真正的标准，取决于操作系统如何实现这一点。零拷贝完全依赖于操作系统。操作系统支持，就有；不支持，就没有。不依赖Java本身。

1.传统I/O

我们以文件下载为例。

在传统LINUX环境中，分为用户空间和内核空间。用户空间可以理解为JVM，JVM是没有权利去调用启动对进程的权限的，因为这部分内容是CPU的内核空间控制。所以，如果要下载文件，JVM先启动一个线程首先得去内核空间申请这一个请求，进行read操作，当内核空间从磁盘开始读文件时，根据LINUX内部机制，会首先将数据放到页缓存中，当页缓存达到存储容量后，进行刷盘，统一将所有数据刷到内存，这时JVM读到数据后，进行后续的写操作。同样，对应的socket层和网络是LINX控制，还需要继续拷贝数据导socket和网络层将数据写到本地。如下图：

由图可知，上面过程产生了四次数据拷贝，而此过程，我们没有对文件内容进行任何修改，那么，在内核空间和用户空间中来回拷贝数据无意是对性能的一种浪费，而零拷贝就是为了解决这种低效性。

读取文件，再用socket发送出去

先读取、再发送，实际经过1~4四次copy。

1、第一次：将磁盘文件，读取到操作系统内核缓冲区；
2、第二次：将内核缓冲区的数据，copy到application应用程序的buffer；
3、第三步：将application应用程序buffer中的数据，copy到socket网络发送缓冲区(属于操作系统内核的缓冲区)；
4、第四次：将socket buffer的数据，copy到网卡，由网卡进行网络传输

2.什么是零拷贝技术？

零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储，主要就是利用各种零拷贝技术，避免让CPU做大量的数据拷贝任务，减少不必要的拷贝，或者让别的组件来做这一类简单的数据传输任务，让CPU解脱出来专注于别的任务。这样就可以让系统资源的利用更加有效。

原理是磁盘上的数据会通过DMA被拷贝的内核缓冲区，接着操作系统会把这段内核缓冲区与应用程序共享(可以理解为Kafka或RocketMQ通过某种技术手段进行了映射)，这样就不需要把内核缓冲区的内容往用户空间拷贝。应用程序再调用write(),操作系统直接将内核缓冲区的内容拷贝到socket缓冲区中，这一切都发生在内核态，最后，socket缓冲区再把数据发到网卡去。

解释：

mmap是一种内存映射文件的方法。

mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。

零拷贝连内核缓存区到socket缓存区也省了，底层的网卡驱动程序直接读取内核缓存区的数据并发送到网络。在整个过程中，只发生了2次数据拷贝。一次是从磁盘到内核缓存区，另一次是从内核缓存区到网络。既然有发生数据拷贝，为什么还叫“零拷贝”，那是因为所说的零拷贝是指数据在内存中没有发生数据拷贝。