考虑这样⼀种常⽤的情形:你需要将静态内容(类似图⽚、⽂件)展⽰给⽤户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到⼀个内存buf中,然后将这个buf通过socket传输给⽤户,进⽽⽤户或者静态内容的展⽰。这看起来再正常不过了,但是实际上这是很低效的流程,我们把上⾯的这种情形抽象成下⾯的过程:
read(file, tmp_buf, len);
write(socket, tmp_buf, len);
⾸先调⽤read将静态内容,这⾥假设为⽂件A,读取到tmp_buf, 然后调⽤write将tmp_buf写⼊到socket中,如图:
在这个过程中⽂件A的经历了4次copy的过程:
- ⾸先,调⽤read时,⽂件A拷贝到了kernel模式;
- 之后,CPU控制将kernel模式数据copy到user模式下;
- 调⽤write时,先将user模式下的内容copy到kernel模式下的socket的buffer中;
- 最后将kernel模式下的socket buffer的数据copy到⽹卡设备中传送;
从上⾯的过程可以看出,数据⽩⽩从kernel模式到user模式⾛了⼀圈,浪费了2次copy(第⼀次,从kernel模式拷贝到user模式;第⼆次从user模式再拷贝回kernel模式,即上⾯4次过程的第2和3步骤。)。⽽且上⾯的过程中kernel和user模式的上下⽂的切换也是4次。
幸运的是,你可以⽤⼀种叫做Zero-Copy的技术来去掉这些⽆谓的copy。应⽤程序⽤Zero-Copy来请求kernel直接把disk的data传输给socket,⽽不是通过应⽤程序传输。
Zero-Copy⼤⼤提⾼了应⽤程序的性能,并且减少了kernel和user模式上下⽂的切换。Zero-Copy技术省去了将操作系统的read buffer拷贝到程序的buffer,以及从程序buffer拷贝到socket buffer的步骤,直接将read buffer拷贝到socket buffer.Java NIO中的FileChannal.transferTo()⽅法就是这样的实现,这个实现是依赖于操作系统底层的sendFile()实现的。
public void transferTo(long position, long count, WritableByteChannel target);
他底层的调⽤时系统调⽤sendFile()⽅法:
#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
下图展⽰了在transferTo()之后的数据流向:
下图展⽰了在使⽤transferTo()之后的上下⽂切换:
使⽤了Zero-Copy技术之后,整个过程如下:
- transferTo()⽅法使得⽂件A的内容直接拷贝到⼀个read buffer(kernel buffer)中;
- 然后数据(kernel buffer)拷贝到socket buffer中;
- 最后将socket buffer中的数据拷贝到⽹卡设备(protocol engine)中传输;
这显然是⼀个伟⼤的进步:这⾥把上下⽂的切换次数从4次减少到2次,同时也把数据copy的次数从4次降低到了3次。但是这是Zero-Copy么,答案是否定的。
sendfile发展历程
Linux 2.1内核开始引⼊了sendfile函数(上⼀节有提到),⽤于将⽂件通过socket传送。
sendfile(socket, file, len);
该函数通过⼀次系统调⽤完成了⽂件的传送,减少了原来read/write⽅式的模式切换。此外更是减少了数据的copy, sendfile的详细过程如图:
通过sendfile传送⽂件只需要⼀次系统调⽤,当调⽤sendfile时:
- ⾸先(通过DMA)将数据从磁盘读取到kernel buffer中;
- 然后将kernel buffer拷贝到socket buffer中;
- 最后将socket buffer中的数据copy到⽹卡设备(protocol engine)中发送;
这个过程就是上一节(详述)中的那个步骤。
sendfiel与read/write模式相⽐,少了⼀次copy。但是从上述过程中也可以发现从kernel buffer中将数据copy到socket buffer是没有必要的。
Linux2.4 内核对sendfile做了改进,如图:
改进后的处理过程如下:
- 将⽂件拷贝到kernel buffer中;
- 向socket buffer中追加当前要发⽣的数据在kernel buffer中的位置和偏移量;
- 根据socket buffer中的位置和偏移量直接将kernel buffer的数据copy到⽹卡设备(protocol engine)中;
经过上述过程,数据只经过了2次copy就从磁盘传送出去了。
这个才是真正的Zero-Copy(这⾥的零拷贝是针对kernel来讲的,数据在kernel模式下是Zero-Copy)。
正是Linux2.4的内核做了改进,Java中的TransferTo()实现了Zero-Copy,如下图:
Zero-Copy技术的使⽤场景有很多,⽐如Kafka, 又或者是Netty等,可以⼤⼤提升程序的性能。