二、Java NIO 深入解读--零拷贝

  1. 零拷贝是网络编程的关键,很多性能优化都离不开。

  2. 在 Java 程序中,常用的零拷贝有 mmap(内存映射) sendFile。我们分析 mmap 和 sendFile 这两个零拷贝。

  3. 零拷贝不是拷贝,只是从操作系统角度,是没有cpu 拷贝。

2.1 传统IO数据读写

File file = new File("test.txt");
RandomAccessFile raf = new RandomAccessFile(file, "rw");

byte[] arr = new byte[(int) file.length()];
raf.read(arr);

Socket socket = new ServerSocket(8080).accept();
socket.getOutputStream().write(arr);

3次状态切换

  1. 从用户态切换到内核态(kernel context)

  2. 从内核态到用户态

  3. 在从用户态到内核态

4次拷贝次数

第一次拷贝: 硬件上的数据做一次 DMA拷贝,拷贝到内核buffer(kernel buffer)

第二次拷贝: 从内核buffer拷贝到用户buffer(user buffer)---cpu copy

第三次拷贝: 从用户buffer 拷贝到socket buffer ---cpu copy

第四次拷贝:从socket buffer 再做一次DMA拷贝到协议栈(protocol engine)

2.2 mmap 优化拷贝分析

mmap 通过内存映射,将文件映射到内核缓冲区,同时,用户空间可以共享内核空间的数据。这样,在进行网络传输时,就可以减少内核空间到用户控件的拷贝次数。

3次状态切换

  1. 从用户态切换到内核态(kernel context)

  2. 从内核态到用户态

  3. 在从用户态到内核态

3次拷贝次数

  1. 第一次拷贝: 硬件上的数据做一次 DMA拷贝,拷贝到内核buffer(kernel buffer)

  2. 第二次拷贝: 由于mmap userBuffer和内核buffer可以共享数据,所以此时就不会在发生一次用户拷贝啦,因此数据可以直接在内核缓冲直接进行修改,修改完后在通过cpu 拷贝到socket buffer。---cpu copy

  3. 第三次拷贝:从socket buffer 再做一次DMA拷贝到协议栈(protocol engine)

2.3 sendFile 优化

2.3.1 sendFile 第1次优化

Linux 2.1 版本 提供了 sendFile 函数,其基本原理如下:数据根本不经过用户态,直接从内核缓冲区进入到 Socket Buffer,同时,由于和用户态完全无关,就减少了一次上下文切换。

 

2.3.2  sendFile 第2次优化(真正的零拷贝)

Linux 在 2.4 版本中,做了一些修改,避免了从内核缓冲区拷贝到 Socket buffer 的操作,直接拷贝到协议栈,从而再一次减少了数据拷贝.

2次状态切换

  1. 从用户态切换到内核态(kernel context)

  2. 从内核态到用户态

2次拷贝次数

  1. 第一次拷贝: 硬件上的数据做一次 DMA拷贝,拷贝到内核buffer(kernel buffer)

  2. 第二次拷贝:从内核buffer在做一次DMA拷贝到协议栈(protocol engine)

  3. 这里其实有 一次cpu 拷贝kernel buffer -> socket buffer 但是,拷贝的信息很少,比如lenght , offset , 消耗低,可以忽略. socket buffer 是灰色代表着极小的copy.

这就是真正的零拷贝。

2.4 零拷贝总结

  1. 零拷贝,是从操作系统的角度来说的。因为内核缓冲区之间,没有数据是重复的(只有 kernel buffer 有一份数据)。

  2. 零拷贝不仅仅带来更少的数据复制,还能带来其他的性能优势,例如更少的上下文切换,更少的 CPU 缓存伪共享以及无 CPU 校验和计算

2.5 mmap 和 sendFile 的区别

  1. mmap 适合小数据量读写,sendFile 适合大文件传输。

  2. mmap 需要 4 次上下文切换,3 次数据拷贝;sendFile 需要 3 次上下文切换,最少 2 次数据拷贝。

  3. sendFile 可以利用 DMA 方式,减少 CPU 拷贝,mmap 则不能(必须从内核拷贝到 Socket 缓冲区)。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值