Kafka的零拷贝原理

在实际应用中，如果需要将磁盘文件中的内容发送到远程服务器上，需要经过几个拷贝的一个过程，拷贝流程如下

1、从磁盘中去读取目标文件的内容拷贝到内核缓冲区

2、CPU控制器把内核缓冲区中的数据拷贝到用户空间的缓冲区中

3、在应用程序中调用“write()”方法，把用户缓冲区中的数据拷贝到内核空间的Socket Buffer中

4、把在内核模式下的Socket Buffer中的数据复制到网卡缓冲区(NIC Buffer)，最后网卡缓冲区再把数据传输到目标服务器上

在这个过程中我们可以发现，数据从磁盘到最终发送出去，要经历4次拷贝，而在这4次拷贝过程中，有2次拷贝是浪费的

1、从内核空间拷贝到用户空间

2、从用户空间再次拷贝到内核空间

除此之外，由于用户空间和内核空间的切换，会带来CPU的上下文切换，对于CPU的性能也会造成影响。

而所谓的领拷贝，就是把这两次多余的拷贝忽略掉，应用程序可以直接把磁盘中的数据从内核中直接传输到Socket，而不需要再次经过应用程序所在的用户空间。领拷贝通过DMA(Direct Memory Access技术)把文件内容复制到内核空间中的Read Buffer，接着把包含数据长度和位置信息的文件描述符加载到Socket Buffer中，DMA引擎直接可以把数据从内核空间传递到网卡设备。在这个流程中，数据至经历了两次拷贝，就把数据发送到网卡中，并且减少了两次CPU的上下文切换，对于效率是有非常大的提高。所以所谓的领拷贝，并不是完全没有数据的拷贝，只是相对于用户空间来说，不需要再次进行数据的拷贝，对于前面说的整个流程来说，领拷贝只是减少了不必要的拷贝次数而已。在程序中如何实现领拷贝，在Linux系统中，领拷贝技术依赖于底层的sendfile()方法，而在Java中，FileChannel.transferTo()方法的底层实现就是sendfile()方法。除此之外，还有一个叫mmap的文件映射机制，它的原理是把磁盘文件映射到内存，用户通过修改内存就可以修改磁盘文件，使用这种方式可以获得很大的I/O提升，省去了用户空间到内核空间的复制开销。