浅谈零拷贝

---

一、零拷贝

1.适用场景

应用程序从硬件设备读取和写入数据，都需要通过内核来进行交互。实际应用中会需要对来请求持久化到硬盘，或者从硬盘读取数据然后发送。整个操作过程中涉及到多次的数据复制和上下文切换。

2.零拷贝概念

零拷贝不是指没有进行数据拷贝，而是指减少需要CPU进行的数据拷贝，主要是为了释放CPU去执行其他任务。

3.零拷贝优点

• 避免CPU数据拷贝，释放CPU去执行其他任务
• 减少用户空间和内核空间上下文切换
• 减少内存占用

二、传统IO-read/write

传统IO主要是应用程序用read系统调用进行数据读取，用write系统调用进行数据发送。相关函数如下：

#include <unistd>
ssize_t write(int filedes, void *buf, size_t nbytes);
ssize_t read(int filedes, void *buf, size_t nbytes);

1.数据读取过程

• 应用进行read系统调用，导致从用户空间切换到内核空间
• 内核线程等待DMA将数据从磁盘拷贝到内核缓冲区
• 内核线程将数据从内核缓冲区拷贝到用户空间缓冲区
• 内核线程返回read系统调用，导致内核空间切换到用户空间

2.数据发送过程

• 应用进行write系统调用，导致从用户空间切换到内核空间
• 内核线程将数据从用户空间缓冲区拷贝到socket缓冲区
• 内核线程触发DMA将数据从socket缓冲区拷贝到网卡
• 内核线程返回write系统调用，导致内核空间切换到用户空间

总结

整个操作过程涉及操作如下：

• 四次用户空间与内核空间上下文切换
• 两次CPU数据拷贝
• 两次DMA数据拷贝

三、零拷贝-mmap/write

用mmap替换read函数，将用户缓冲区与内核缓冲区进行映射，减少CPU拷贝。相关函数如下：

#include <sys/mman.h>
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset)

1.数据读取过程

• 应用进行mmap系统调用，导致从用户空间切换到内核空间
• 内核线程等待DMA将数据从磁盘拷贝到内核缓冲区
• 内核线程将用户空间映射到内核缓冲区
• 内核线程返回read系统调用，导致内核空间切换到用户空间

2.数据发送过程

• 应用进行write系统调用，导致从用户空间切换到内核空间
• 内核线程将数据从内核缓冲区拷贝到socket缓冲区
• 内核线程触发DMA将数据从socket缓冲区拷贝到网卡
• 内核线程返回write系统调用，导致内核空间切换到用户空间

总结

整个操作过程涉及操作如下：

• 四次用户空间与内核空间上下文切换
• 一次CPU数据拷贝，将用户空间映射到内核缓冲区减少一次CPU数据拷贝
• 两次DMA数据拷贝

四、零拷贝-sendfile

这里是使用sendfile替换mmap/read+write函数调用，减少两次上下文切换。

#include <sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

1.执行过程

• 应用进行senfile系统调用，导致从用户空间切换到内核空间
• 内核线程等待DMA将数据从磁盘拷贝到内核缓冲区
• 内核线程将数据从内核缓冲区拷贝到socket缓冲区
• 内核线程触发DMA将数据从socket缓冲区拷贝到网卡
• 内核线程返回senfile系统调用，导致内核空间切换到用户空间

总结

整个操作过程涉及操作如下：

• 两次用户空间与内核空间上下文切换
• 一次CPU数据拷贝
• 两次DMA数据拷贝

五、零拷贝-sendfile（带DMA收集拷贝功能）

1.执行过程

• 应用进行senfile系统调用，导致从用户空间切换到内核空间
• 内核线程等待DMA将数据从磁盘拷贝到内核缓冲区
• 内核线程将内核缓冲区描述符复制到socket缓冲区
• 内核线程触发SG-DMA将根据描述符将数据从内核缓冲区拷贝到网卡
• 内核线程返回senfile系统调用，导致内核空间切换到用户空间

总结

整个操作过程涉及操作如下：

• 两次用户空间与内核空间上下文切换
• 不需要CPU数据拷贝
• 两次DMA数据拷贝

总结

零拷贝主要是通过Linux的不同函数，在数据读取和发送过程中，减少CPU参与的数据拷贝次数和上下文切换。

---

参考链接

1.小白也能秒懂的Linux零拷贝原理