IO操作之零拷贝技术(图解)

最新推荐文章于 2024-07-22 09:00:00 发布

清风拂来水波不兴

最新推荐文章于 2024-07-22 09:00:00 发布

阅读量280

点赞数 1

本文链接：https://blog.csdn.net/weixin_45902285/article/details/121180230

版权

jvm 同时被 2 个专栏收录

16 篇文章 0 订阅

订阅专栏

netty

14 篇文章 7 订阅

订阅专栏

首先看下面一段代码：

File file = new File("hello.txt");
RandomAccessFile ra=new RandomAccessFile(file,"r");
byte[] buff=new byte[(int) file.length()];        
//读取本地文件读到一个byte数组
ra.read(buff);
Socket socket=...;
//向Socket写该数据
socket.getOutputStream().write(buff);

上面的代码过程如下:

1.java 本身并不具备I0读写能力，因此 read方法调用后，要从java程序的用户态切换至内核态，去调用操作系统(Kernel）的读能力，将数据读入内核缓冲区。这期间用户线程阻塞，操作系统使用DMA (Direct Memory Access)来实现文件读，其间也不会使用cpu

2.从内核态切换回用户态，将数据从内核缓冲区读入用户缓冲区(即byte[] buf)，这期间cpu会参与拷贝无法利用DMA

3.调用write方法，这时将数据从用户缓冲区(byte[] buf)写入socket缓冲区，cpu会参与拷贝

4.接下来要向网卡写数据，这项能力java 又不具备，因此又得从用户态切换至内核态，调用操作系统的写能力，使用DMA将socket缓冲区的数据写入网卡，不会使用cpu

可以看到中间环节较多，java的I0实际不是物理设备级别的读写，而是缓存的复制，底层的真正读写是操作系统来完成的

用户态和内核态的切换发生了3次，这个操作比较重量级
数据拷贝了共4次

NIO优化

通过DirectByteBuffer，这块区域用的操作系统内存，但它有个特点就是java能够访问，操作系统也能访问。

大部分步骤与优化前相同，不再赘述。唯有一点: java可以使用DirectByteBuf将堆外内存映射到jvm 内存中来直接访问使用

这块内存不受jvm垃圾回收的影响，因此内存地址固定，有助于IO读写‘
java中的 DirectByteBuf对象仅维护了此内存的虚引用，内存回收分成两步
- DirectByteBuf对象被垃圾回收，将虚引用加入引用队列
- 通过专门线程访问引用队列，根据虚引用释放堆外内
减少了一次数据拷贝，用户态与内核态的切换次数没有减少

进一步优化(底层采用了linux2.1后提供的sendFile方法)，java中对应着两个channel调用transferTo/transferFrom方法拷贝数据

1.java调用transferTo方法后，要从java程序的用户态切换至内核态，使用DMA将数据读入内核缓冲区不会使用cpu
2.数据从内核缓冲区传输到socket缓冲区，cpu会参与拷贝
3.最后使用DMA将socket缓冲区的数据写入网卡，不会使用cpu
可以看到
只发生了一次用户态与内核态的切换，数据拷贝了3次

进一步优化(Linux 2.4)