什么是零拷贝及实现方式

什么是零拷贝？

零拷贝（Zero-Copy） 是一种高效的数据传输技术，它可以将数据从内核空间直接传输到应用程序的内存空间中。

传统的数据传输过程通常需要经历多次内存拷贝。首先，从磁盘读取数据，然后将数据从内核空间拷贝到用户空间，再从用户空间拷贝到应用程序的内存中。这些额外的拷贝会消耗大量的CPU资源和内存带宽，降低数据传输的效率。零拷贝就是为了避免这些不必要的数据拷贝，能够将数据直接传输到目标内存区域，以提高数据传输的效率。

为什么要有零拷贝

传统数据传输方式如图：

1. 用户进程发出read()系统调用，触发上下文切换，从用户态转换到内核态。

2. CPU发起IO请求，通过直接内存访问（DMA）从磁盘读取文件内容，复制到内核缓冲区PageCache。

3. 将内核缓冲区数据，拷贝到用户空间缓冲区，触发上下文切换，从内核态转换到用户态。

4. 用户进程发起write系统调用，触发上下文切换，从用户态切换到内核态。

5. 将数据从用户缓冲区拷贝到内核中与目的地Socket关联的缓冲区。

6. 数据最终经由Socket通过DMA传送到网卡缓冲区，write()系统调用返回，并从内核态切换回用户态。

整个过程出现了多次不必要的数据拷贝，增加了CPU和内存的开销。

零拷贝实现的几种方式

零拷贝并不是没有拷贝数据，而是减少用户态/内核态的切换次数以及CPU拷贝的次数。零拷贝实现有多种方式，分别是

• mmap+write

• sendfile

• 带有DMA收集拷贝功能的sendfile

mmap+write实现的零拷贝

mmap 的函数原型如下：

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);

• addr：指定映射的虚拟内存地址

• length：映射的长度

• prot：映射内存的保护模式

• flags：指定映射的类型

• fd:进行映射的文件句柄

• offset:文件偏移量

前面一小节，零拷贝相关的知识点回顾，我们介绍了虚拟内存，可以把内核空间和用户空间的虚拟地址映射到同一个物理地址，从而减少数据拷贝次数！mmap就是用了虚拟内存这个特点，它将内核中的读缓冲区与用户空间的缓冲区进行映射，所有的IO都在内核中完成。

mmap+write实现的零拷贝流程如下：

• 用户进程通过mmap方法向操作系统内核发起IO调用，上下文从用户态切换为内核态。

• CPU利用DMA控制器，把数据从硬盘中拷贝到内核缓冲区。

• 上下文从内核态切换回用户态，mmap方法返回。

• 用户进程通过write方法向操作系统内核发起IO调用，上下文从用户态切换为内核态。

• CPU将内核缓冲区的数据拷贝到的socket缓冲区。

• CPU利用DMA控制器，把数据从socket缓冲区拷贝到网卡，上下文从内核态切换回用户态，write调用返回。

可以发现，mmap+write实现的零拷贝，I/O发生了4次用户空间与内核空间的上下文切换，以及3次数据拷贝。其中3次数据拷贝中，包括了2次DMA拷贝和1次CPU拷贝。

mmap是将读缓冲区的地址和用户缓冲区的地址进行映射，内核缓冲区和应用缓冲区共享，所以节省了一次CPU拷贝‘’并且用户进程内存是虚拟的，只是映射到内核的读缓冲区，可以节省一半的内存空间。

sendfile实现的零拷贝

sendfile是Linux2.1内核版本后引入的一个系统调用函数，API如下：

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

• out_fd:为待写入内容的文件描述符，一个socket描述符。，

• in_fd:为待读出内容的文件描述符，必须是真实的文件，不能是socket和管道。

• offset：指定从读入文件的哪个位置开始读，如果为NULL，表示文件的默认起始位置。

• count：指定在fdout和fdin之间传输的字节数。

sendfile表示在两个文件描述符之间传输数据，它是在操作系统内核中操作的，避免了数据从内核缓冲区和用户缓冲区之间的拷贝操作，因此可以使用它来实现零拷贝。

sendfile实现的零拷贝流程如下：

1. 用户进程发起sendfile系统调用，上下文（切换1）从用户态转向内核态

2. DMA控制器，把数据从硬盘中拷贝到内核缓冲区。

3. CPU将读缓冲区中数据拷贝到socket缓冲区

4. DMA控制器，异步把数据从socket缓冲区拷贝到网卡，

5. 上下文（切换2）从内核态切换回用户态，sendfile调用返回。

可以发现，sendfile实现的零拷贝，I/O发生了2次用户空间与内核空间的上下文切换，以及3次数据拷贝。其中3次数据拷贝中，包括了2次DMA拷贝和1次CPU拷贝。那能不能把CPU拷贝的次数减少到0次呢？有的，即带有DMA收集拷贝功能的sendfile！

sendfile+DMA scatter/gather实现的零拷贝

linux 2.4版本之后，对sendfile做了优化升级，引入SG-DMA技术，其实就是对DMA拷贝加入了scatter/gather操作，它可以直接从内核空间缓冲区中将数据读取到网卡。使用这个特点搞零拷贝，即还可以多省去一次CPU拷贝。

sendfile+DMA scatter/gather实现的零拷贝流程如下：

1. 用户进程发起sendfile系统调用，上下文（切换1）从用户态转向内核态

2. DMA控制器，把数据从硬盘中拷贝到内核缓冲区。

3. CPU把内核缓冲区中的文件描述符信息（包括内核缓冲区的内存地址和偏移量）发送到socket缓冲区

4. DMA控制器根据文件描述符信息，直接把数据从内核缓冲区拷贝到网卡

5. 上下文（切换2）从内核态切换回用户态，sendfile调用返回。

可以发现，sendfile+DMA scatter/gather实现的零拷贝，I/O发生了2次用户空间与内核空间的上下文切换，以及2次数据拷贝。其中2次数据拷贝都是包DMA拷贝。这就是真正的 零拷贝（Zero-copy) 技术，全程都没有通过CPU来搬运数据，所有的数据都是通过DMA来进行传输的。