Kafka之零拷贝技术

       零拷贝技术(zero-copy)是指将数据直接才从磁盘文件复制到网卡设备中,不需要经过应用程序,减少了内核态和用户态的切换和数据复制。java语言的FileChannal.transferTo()方法会调用linux底层的senfFile()方法,来实现该技术。

       一般的文件传输,数据会经历四次复制。

第一次,程序调用read(),将数据从磁盘拷贝到内核模式的ReadBuffer中,

第二次,CPU控制将ReadBuffer中的数据拷贝到用户模式的Application Cache中,

第三次,程序调用write(),将Application Cache下的内容复制到内核模式下的Socket Buffer中,

第四次,Cpu控制将Socket Buffer中的数据拷贝到网卡设备中传输。

 

        相应的用户态和内核态的切换也发生了四次,第一次从用户态切换到内核态,调用Read()。第二次从内核态切换回用户态,将数据拷贝到Application Cache。第三次,从用户态切换到内核态,数据从Application Cache 中拷贝到SocketBuffer。第四次,数据全程拷贝完毕,从内核态又切换会用户态。

        即数据全程发生了四次复制,四次用户态和内核态的切换。

        可以看见,数据本来就是要从本地磁盘传输到NIC网卡中的,但是现在平白无故从内核态到用户态来回复制了两次,从优化的角度来讲,可以取消这两次复制,于是就有了零拷贝(Zero-Copy)技术。零拷贝技术通过DMA(Directed Memeory Access)技术将文件直接从本地磁盘拷贝到ReadBuffer, 然后只传递数据的描述信息给SockertBuffer,DMA引擎会将数据从ReadBuffer中直接拷贝到NIC中,只经历了两次复制。

           所以零拷贝技术,将复制次数从4次减少到2次,内核态和用户态切换次数也从4次减少到了2次,所以性能大大提升。粗略图如下:

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值