2.Netty编程-零拷贝

一、传统io

传统的io将一个磁盘中的文件通过网路发送出去：

File f = new File("helloword/data.txt");
RandomAccessFile file = new RandomAccessFile(file,"r");
byte[] buf = new byte[(int)f.length()];
file.read(buf);    //读
Socket socket= ...
socket.getOutputStream().write(buf);    //写

在计算机内部的工作流程是这样的：

1.java本身并不具备I0读写能力,因此read方法调用后,要从java程序的用户态切换至内核态,去调用操作系统(Kernel)的读能力,将数据读入内核缓冲区。这期间用户线程阻塞,操作系统使用DMA(Direct
Memory Access)来实现文件读,其间也不会使用cpu。
2.从内核态切换回用户态,将数据从内核缓冲区读入用户缓冲区(即byte[buf),这期间cpu会参与拷贝。
3.调用write方法,这时将数据从用户缓冲区(byte[] buf)写入socket缓冲区,cpu会参与拷贝。
4.接下来要向网卡写数据,这项能力java又不具备,因此又得从用户态切换至内核态,调用操作系统的写能力,使用DMA将socket缓冲区的数据写入网卡,不会使用cpu。

  可以看到中间环节较多,java的io实际不是物理设备级别的读写,而是缓存的复制,底层的真正读写是操作系统来完成的。用户态与内核态的切换发生了3次,这个操作比较重量级，而数据拷贝了共4次。

二、NIO优化

  大部分步骤与优化前相同,不再熬述。唯有一点:java可以使用DirectByteBuf将堆外内存映射到jvm内存中来直接访问使用。

1.这块内存不受jvm垃圾回收的影响,因此内存地址固定,有助于io读写
2.java中的DirectByteBuf对象仅维护了此内存的虚引用,内存回收分成两步：
  -DirectByteBuf对象被垃圾回收,将虚引用加入引用队列
  -通过专门线程访问引用队列,根据虚引用释放堆外内存
3.减少了一次数据拷贝,用户态与内核态的切换次数没有减少

三、进一步优化

  进一步优化底层采用了linux2.1后提供的sendFile方法,java中对应着两个channel调用transferTo/transferFrom方法拷贝数据。

1.java调用transferTo方法后,要从java程序的用户态切换至内核态,使用DMA将数据读入内核缓冲区,不会使用cpu。
2.数据从内核缓冲区传输到socket缓冲区,cpu会参与拷贝。
3.最后使用DMA将socket缓冲区的数据写入网卡,不会使用cpu。

可以看到只发生了一次用户态与内核态的切换，数据拷贝了三次。
零拷贝技术减少了数据的拷贝次数和用户态与内核态的切换次数，加快了数据传输的速度。但是在进一步优化中，因为数据始终处于内核态，用户无法访问和修改数据。
如果想对零拷贝有更深入的理解，可以看下这篇文章：深入理解零拷贝技术