1.概述
考虑这样一种常用的情形:你需要将静态资源(类似图片、文件)展示给用户。那么这个情形就意味着你需要将将静态资源内容从磁盘中拷贝出来放到一个内存buf中,然后将这个buf通过socket传输给用户,进而用户或者静态内容的展示。这看起来再正常不过了,但是实际上这是很低效的流程,我们把上面的这种情形抽象成下面的过程:
read(file, tmp_buf, len);
write(socket, tmp_buf, len);
首先调用read将静态内容,这里假设为文件A,读取到tmp_buf,然后调用write将tmp_buf写入到socket中,如图:
在这个过程中文件A经历了4次copy的过程:
- 首先,调用read时,文件A拷贝到了kernel的buffer。
- 之后CPU控制将kernel buffer中的数据拷贝到user的buffer。
- 调用write时,先将user buffer中的内容拷贝到kernel中的socket的buffer。
- 最后将kernel的socket buffer的数据拷贝到网卡设备中传送。
从上面的过程可以看出,数据白白从kernel到user走了一圈,浪费了2次copy(从kernel拷贝到user,再从user拷贝回kernel)。而上面的过程中kernel和user模式的上下文切换也是4次。
幸运的是,你可以用一种Zero-Copy的技术来去掉这些无谓的copy。应用程序用Zero-Copy来请求kernel直接把disk的data传输给socket,而不是通过应用程序传输。Zero-Copy大大提高了应用程序的性能,并减少了kernel和user模式上下文的切换。
2.详述
Zero-Copy技术省去了将操作系统的read buffer拷贝到程序的buffer,以及从程序buffer拷贝到socket buffer的步骤,直接将 read buffer拷贝到socket buffer。Java NIO的FileChannel.transferTo() 方法就是这样实现的,这个实现是依赖于操作系统底层的sendFile()实现的。
public void transferTo(long position, long count, WritableByteChannel target);
它底层的调用系统调用sendFile方法:
#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
下面展示了在 transferTo() 之后的数据流向:
下图展示了使用transferTo()之后的上下文切换:
使用了Zero-Copy技术之后,整个过程如下:
- transferTo() 方法使得文件A的内容直接拷贝到一个read buffer(kernel buffer)中
- 然后数据(kernel buffer)拷贝到 socket buffer中
- 最后将 socket buffer中的数据拷贝到网卡设备中传输
这显然是一个伟大的进步:这里把上下文切换次数从4次减少到2次,同时也把数据copy从4次降到了3次。
当然,这不是真正的Zero-Copy。
3.进阶
Linux 2.1内核开始引入了sendfile函数,用户将文件通过socket传送。
sendfile(socket, file, len);
该函数通过一次系统调用完成了文件的传送,减少了原来的 read/write方式的模式切换。此外便是减少了数据的copy,sendfile的详细过程如图:
通过sendfile传送文件只需要一次系统调用,当调用sendfile时:
- 首先(通过DMA)将数据从磁盘读取到kernel buffer中
- 然后将kernel buffer拷贝到socket buffer中
- 最后将socket buffer中的数据copy到网卡设备(Protocol engine)中传送
这个过程就是第二节中的那个步骤。
sendfile与 read/write 模式相比,少了一次拷贝。但是从上述过程中也可以发现 从 kernel buffer 中将数据copy到 socket buffer是没有必要的。
linux 2.4内核对sendfile做了改进,如图:
改进后的处理流程如下:
- 将文件拷贝到kernel buffer中
- 向socket buffer中追加当前要发生的数据再kernel buffer中的位置和偏移量
- 依据socket buffer中的位置和偏移量直接将kernel buffer的数据copy到网卡设备中。
经过上述过程,数据只经过了2次copy就从磁盘传送出去了。
这个才真正的Zero-Copy(这里的零拷贝是针对kernel来讲的,数据再kernel 模式下是Zero-Copy)。
正是 linux 2.4的内核做了改进,Java中的transferTo()实现了Zero-Copy,如下图:
Zero-Copy技术的使用场景有很多,比如 Kafka,又或者是Netty等,可以大大提升程序的性能。