Kafka-零拷贝

1 篇文章 0 订阅

正常的网络发送

如果文件在磁盘上,那么应用程序想把文件通过网络发送出去,大致的步骤如下

  • 操作系统将数据从磁盘文件中读取到内核空间的页面缓存;
  • 应用程序将数据从内核空间读入用户空间缓冲区(发生一次内核态到用户态的切换);
  • 应用程序将读到数据写回内核空间并放入socket缓冲区(发生一次用户态到内核态的切换);
  • 操作系统将数据从socket缓冲区复制到网卡接口,此时数据才能通过网络发送。

零拷贝

首先需要明确零拷贝就像NIO一样,是内核提供的功能。
磁盘上的文件直接被读入内核缓冲区,然后数据直接从内核缓存发送到网卡,从而有效减少用户态到内核态的切换以及数据的多次复制,从而提高了性能。

Kafka为什么可以使用零拷贝技术

Kafka保存在磁盘上的数据格式与从生产者发送过来或者发送给消费者的消息格式是一样的。因为使用了相同的消息格式进行磁盘存储和网 络传输,Kafka 可以使用零复制技术给消费者发送消息,同时避免了对生产者已经压缩过的消息进行解压和再压缩。

参考资料

Kafka的零拷贝。https://www.cnblogs.com/ryjJava/p/12555773.html
《Kafka权威指南》

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值