聊聊零拷贝

最新推荐文章于 2022-12-06 17:59:36 发布

mseaspring

最新推荐文章于 2022-12-06 17:59:36 发布

阅读量520

点赞数

本文链接：https://blog.csdn.net/mseaspring/article/details/106346264

版权

最近几天没写公众号文章，实在是有些忙，今天早起了会，来写下。今天来聊聊零拷贝技术，此技术一般面试的情况下会问的比较多，kafka只所以性能比较高的原因之一就是使用了零拷贝技术，这次刚好学习了系统性能必知必会中又进一步了解了零拷贝，总结下吧。

首先来说，零拷贝里面的拷贝是内存拷贝，所谓的零拷贝是减少系统缓存和用户缓存，以及一些socket的缓存拷贝次数，并不是完全没有拷贝，只是减少了拷贝次数而已，同时还具有减少上下文交换的好处。

一不使用零拷贝

零拷贝技术主要用在服务器端的技术开发中，最常见的服务器就是web服务器了，web服务器的功能说简单也很简单，可以抽象成接收客户的情况，然后从磁盘上读取html等网页文件再发送给客户端而已，不过这里的实现就学问大了，要如何实现高并发，要如何实现快速地读取网页内容并发送，还要考虑各种异常情况，这里面也不细说了。先看看如果不使用零拷贝技术，我们从磁盘读取一个html文件发送给客户端的流程情况：

我们需要先申请个缓存空间，大小不确定，我一般设置1KB，这个数字可能比较小了。
从磁盘文件中读取1KB的数据，发送给客户端。
重复执行步骤二，直到文件读取结束。如果我们仔细研究下整个过程是如下图这样的：

1.1 上线文切换

首先，应用程序是无权对磁盘文件，网卡等直接操作的，为安全起见，这些硬件的访问必须由操作系统内核来完成，应用程序通过系统调用使用相关的API来间接操作硬件，而发生系统调用的时候，会发生上下文切换，你想系统调用是一些指令序列，而我们应用程序是另外一种指令序列，调用的时候指令寄存器只能保存一个执行的地址，所以必须发生切换。而这个过程中每次调用和返回都需要进行上下文的切换，一次读文件和发送文件就会发生四次上下文切换，那我们如何排查上下文切换那，在linux下，可以使用vmstat命令：

[root@ ~]# vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0      0 224420 146660 1417736    0    0     9    10    0    1  4  0 96  0  0
 0  0      0 224544 146660 1417736    0    0     0    14  973 1712  0  0 100  0  0

比较关键的几个信息：

r（Running or Runnable）就绪队列长度，正在运行和等待cpu的进程数，显然这个值大的话，说明机器繁忙。
b (Blocked) 处于不可中断的进程数，只所以是不可中断的，是因为可能进行硬盘的写，中断可能造成异常，如果这个比较多，多半是磁盘有问题了。-cs （context switch）是每秒上下文交换的次数，也就是上面说到的，如果上下文切换比较高，还有一种可能是线程或进程太多了，导致来回切换。vmstat 只给一个整体信息，那么如何查询具体哪个应用的上下文切换比较高：

[root@~]# pidstat -w 5
Linux 3.10.0-957.1.3.el7.x86_64 (eishost) 	05/13/2020 	_x86_64_	(2 CPU)

08:58:12 AM   UID       PID   cswch/s nvcswch/s  Command
08:58:17 AM     0         1      0.80      0.00  systemd
08:58:17 AM     0         9     61.88      0.00  rcu_sched
08:58:17 AM     0        11      0.20      0.00  watchdog/0
08:58:17 AM     0        12      0.20      0.00  watchdog/1
08:58:17 AM     0        14      0.20      0.00  ksoftirqd/1

cswch: 自愿发生上下文切换，比如等待io等。nvcswch：非自愿发生上下文切换，比如时间片已到，被系统强制进行上下文切换。

这有点类似于我们大脑，如果我们用心只做一件事情，效率比较高，如果老是进行不同的事情间的切换，会感觉比较累，整体效率一般。

1.2 内存拷贝

除了发生上下文交换，上图我们还发现进行的内存拷贝比较多，一共发生了四次。为什么发生内存拷贝，那是因为我们在不同空间下运行，权限不一样，用户态的应用程序显然不能直接操作内核态的内存（内存映射除外），所以要来回倒腾。

综上所述，如果我们的文件比较大，内存拷贝次数必然比较多，系统调用的次数也比较多，那么显然整个cpu在做浪费的动作很多，零拷贝就是为了减少内存的拷贝产生的技术。

二零拷贝

2.1 mmap方式减少内存拷贝

刚才我提了下，想减少内存的拷贝，有一个可能的途径是减少内核和用户空间的内存拷贝，如何做那，可以通过mmap 使用内存映射，将文件映射到内核缓冲区，这样可以减少一次内存拷贝即减少从内核空间缓存拷贝到用户空间。我们常见的网络抓包技术pfring 普通版本就是类似的做法：说明：pfring的NO_DNA技术步骤如下：1）使用DMA技术，其实我们读取文件很多都使用了DMA技术，不需要cpu参与了，将网卡的缓存数据拷贝到Rx buffer 主存中。2）将Rx buffer 拷贝到环形的缓存ring中。3）通过mmap技术将内核态的ring映射到用户态，减少一次内存拷贝。如果是DNA技术就更牛逼了，在上面第二步以后，通过mmap将Rx buffer 直接映射到用户空间，可以直接使用，不过这个是收费的。mmap方式一般可以减少一次内存拷贝，将内存拷贝次数减少到三次。但是一般上下文切换次数并没有减少。

2.2 零拷贝

为了减少上下文切换的次数，我们可以考虑将read和write合并为一次，且对于我们上面的场景来说，用户缓存其实没必要存在，在linux中我们可以使用sendfile的系统调用，如下图：我们进行sendfile系统调用的时候需要进行如下步骤：1）磁盘数据通过DMA技术，从磁盘拷贝到内核内存pagecache中。2）将pagecache中的数据拷贝到socket缓存。3）将socket缓存的数据拷贝到网卡的协议栈中。整个过程进行了两次上下文切换，三次内存拷贝过程。

在linux2.4版本开始，os提供了带有scatter/gather的DMA来从内核控件缓冲区将数据读取到协议引擎中。这样传输的数据可以分散存储在不同位置上，不用再连续存储中存放。那么就去掉了从文件中拷贝到socket缓存的步骤，只是将缓存区的描述符加到socket缓存中，DMA收集会根据缓冲区的描述符信息，将内核控件中的数据直接拷贝到协议引擎中。如下图：过程：

发出sendfile系统调用的时候，导致用户空间和内核控件发生一次上下文切换，通过DMA 将磁盘文件拷贝到内核缓存区中。
将相应的描述符信息拷贝到相应的socket缓冲区中。描述符包含kernel buffer的内存地址，kernel buffer的偏移量。
sendfile系统调用返回，产生第二次上下文切换，DMA gather copy根据socket缓冲区描述符提供的位置和偏移量信息直接将内核空间缓存的数据拷贝到协议引擎中。

这样整个过程减少到只有两次上下文交换和两次的内存拷贝过程。整个过程中，内核数据只存放一次，不需要cpu参与拷贝，所以叫零拷贝。

三 sendfile

#include <sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

在linux2.6.33版本之前 sendfile指支持文件到套接字之间传输数据，即in_fd相当于一个支持mmap的文件，out_fd必须是一个socket。但从linux2.6.33版本开始，out_fd可以是任意类型文件描述符。所以从linux2.6.33版本开始sendfile可以支持“文件到文件”和“文件到套接字”之间的数据传输。

在kafka中，通过FileChannel的transferTo和transferFrom来实现零拷贝，底层还是sendfile技术。

FileChannel的map方法会返回一个MappedByteBuffer，和我们前几天说的mmap映射内存非常像，底层应该是一样的实现，可以将文件映射到内存，内核和用户空间共享相同的缓存中，如果修改的话，os负责将缓存数据刷到磁盘中，性能很高，不过我没用过，有机会用下。