Netty中的零拷贝技术_netty的零拷贝-CSDN博客

本文链接：https://blog.csdn.net/ZZY_0210/article/details/134223507

技术背景

磁盘是计算机系统重最慢的硬件之一，和内存的读写速度相差10倍以上，所以针对读写磁盘的优化技术特别多，比如零拷贝、直接 I/O、异步 I/O 等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区，可以有效的减少磁盘的访问次数。

什么是零拷贝？

零拷贝（Zero-Copy）技术是指电脑执行操作时，CPU不需要参与数据的搬运复制。这种技术通常用于网络传输文件时，节省CPU周期和内存带宽。

传统的IO流程

CPU发出指令给磁盘控制器
磁盘控制器收到指令后，于是就开始准备数据，会把数据放入到磁盘控制器的内部缓冲区中，然后产生一个中断
CPU 收到中断信号后，停下手头的工作，接着把磁盘控制器的缓冲区的数据一次一个字节地读进自己的寄存器，然后再把寄存器里的数据写入到内核缓冲区，而在数据传输的期间 CPU 是无法执行其他任务的。
CPU将内存缓冲区的数据拷贝到用户缓冲区，用户才能读到数据

时序过程图如下：

所以你可以发现，整个数据搬运的过程都是需要CPU参与运算的。如果用千兆网卡或者磁盘传输大量数据时，CPU将会一直处于搬运数据的过程之中，这将对系统的负载和吞吐量产生比较大的影响。

~~个人理解是因为CPU需要把数据先读到寄存器，再读到内核缓冲区，这部分只能一个字一个字读，导致了效率极慢。~~
在传统的数据传输流程中，CPU需要一个字一个字地复制数据的原因是因为这是一个基于程序的I/O（PIO）方式。在PIO方式中，CPU对数据传输的控制非常细粒度，必须逐个字节或字处理数据。这导致了CPU需要频繁地发出I/O指令，执行复制操作，然后等待硬盘控制器响应。这种方式对CPU和系统资源的效率不高，因为它需要频繁的CPU介入，导致了额外的CPU开销。

为了避免让CPU直接参与到数据搬运的过程中，发明了DMA（Direct Memory Access)直接内存访问。简单理解就是在磁盘和内存进行数据搬运时，**不再由CPU参与，而是全权交给一个叫DMA控制器的东西。**这样就可以大大的减轻CPU的负载。时序过程如图：

具体过程：

用户进程调用 read 方法，向操作系统发出 I/O 请求，请求读取数据到自己的内存缓冲区中，进程进入阻塞状态；
操作系统收到请求后，进一步将 I/O 请求发送 DMA，然后让 CPU 执行其他任务；
DMA 进一步将 I/O 请求发送给磁盘；
磁盘收到 DMA 的 I/O 请求，把数据从磁盘读取到磁盘控制器的缓冲区中，当磁盘控制器的缓冲区被读满后，向 DMA 发起中断信号，告知自己缓冲区已满；
DMA 收到磁盘的信号，将磁盘控制器缓冲区中的数据拷贝到内核缓冲区中，此时不占用 CPU，CPU 可以执行其他任务；
当 DMA 读取了足够多的数据，就会发送中断信号给 CPU；
CPU 收到 DMA 的信号，知道数据已经准备好，于是将数据从内核拷贝到用户空间，系统调用返回；

可以看到，数据从磁盘到内存的过程中，CPU不再参与搬运，全部是DMA控制完成。如今基本每个IO设备都有自己的DMA控制器。
我们来举一个例子分析一次读写，CPU需要参与几次数据拷贝。
我们需要调用系统read()函数将磁盘文件读入内存，然后通过调用系统write()函数将内存数据写给网络协议栈发送给客户端。流程如下图

因为读磁盘数据和写网卡数据属于系统调用，所以用户进程在调用系统调用时，需要从用户态切换到内核态。而这一次读写操作，需要四次用户态到内核态的切换。原因是用户进程调用了系统函数一次read()和一次write()，每次系统调用都需要先从用户态切换到内核态，等内核态完成任务后，再从内核态切换回用户态。
其中，产生了4次数据拷贝，两次拷贝是DMA完成，两次拷贝由CPU完成。
所以这一过程产生的问题就是：搬运一份数据存在冗余的用户态和内核态的切换以及多余的拷贝。我们想要提高文件传输的性能，需要减少用户态和内核态的切换和拷贝次数。
由此，我们引出零拷贝的概念。

如何实现零拷贝

以通过调用sendfile()函数替代前面的read()和write()系统调用，这样可以减少一次系统调用，也就减少了两次次用户态和内核态之间的切换开销。其次，该函数可以直接把内核缓冲区里面的数据拷贝的socket缓冲区。总体算下来，有2次上下文切换，和3次数据拷贝。如下图所示：

可以看到本质区别是数据不用拷贝到用户态。但是这还不是零拷贝，因为这一过程中数据还是被拷贝了三次。
从内核2.4版本开始，如果网卡支持SG-DMA（The Scatter-Gather Direct Memory Access），可以进一步减少CPU把内核缓冲区里面的数据拷贝到socket缓冲区的过程。
于是，从内核2.4版本开始，对于网卡支持SG-DMA技术的情况下，sendfile() 系统调用过程可以实现CPU的零拷贝。
你可以在你的 Linux 系统通过下面这个命令，查看网卡是否支持 scatter-gather 特性：

$ ethtool -k eth0 | grep scatter-gather
scatter-gather: on

整个过程如下图所示：

这就是所谓的零拷贝（Zero-copy）技术，因为我们没有在内存层面去拷贝数据，也就是说全程没有通过CPU来搬运数据，所有的数据都是由DMA来进行传输的。
零拷贝技术的文件传输方式相比传统文件传输的方式，减少了两次用户态和内核态的切换和两次数据拷贝次数。所以总体上看，零拷贝技术可以把文件的传输性能提高至少一倍以上。

零拷贝应用

Java提供了NIO库中的transferTo方法提供了直接操作底层零拷贝技术的能力。kafka中，也利用了零拷贝技术，大幅提升I/0吞吐量，这也是kafka能够处理海量数据的原因之一。
如果你追溯 Kafka 文件传输的代码，你会发现，最终它调用了 Java NIO 库里的 transferTo 方法：

@Override
public long transferFrom(FileChannel fileChannel, long position, long count) throws IOException { 
    return fileChannel.transferTo(position, count, socketChannel);
}