正常的网络发送
如果文件在磁盘上,那么应用程序想把文件通过网络发送出去,大致的步骤如下
- 操作系统将数据从磁盘文件中读取到内核空间的页面缓存;
- 应用程序将数据从内核空间读入用户空间缓冲区(发生一次内核态到用户态的切换);
- 应用程序将读到数据写回内核空间并放入socket缓冲区(发生一次用户态到内核态的切换);
- 操作系统将数据从socket缓冲区复制到网卡接口,此时数据才能通过网络发送。
零拷贝
首先需要明确零拷贝就像NIO一样,是内核提供的功能。
磁盘上的文件直接被读入内核缓冲区,然后数据直接从内核缓存发送到网卡,从而有效减少用户态到内核态的切换以及数据的多次复制,从而提高了性能。
Kafka为什么可以使用零拷贝技术
Kafka保存在磁盘上的数据格式与从生产者发送过来或者发送给消费者的消息格式是一样的。因为使用了相同的消息格式进行磁盘存储和网 络传输,Kafka 可以使用零复制技术给消费者发送消息,同时避免了对生产者已经压缩过的消息进行解压和再压缩。
参考资料
Kafka的零拷贝。https://www.cnblogs.com/ryjJava/p/12555773.html
《Kafka权威指南》