关于零拷贝的一点认识

瑞特突然1

于 2024-07-04 18:11:08 发布

阅读量367

点赞数 4

分类专栏：资料公粽号文章标签： java 前端服务器

本文链接：https://blog.csdn.net/srtnwn1/article/details/140186620

版权

资料公粽号专栏收录该内容

15 篇文章 0 订阅

订阅专栏

进程发起read请求之后，内核接收到read请求之后，会先检查内核空间中是否已经存在进程所需要的数据，如果已经存在，则直接把数据copy给进程的缓冲区；如果没有内核随即向磁盘控制器发出命令，要求从磁盘读取数据，磁盘控制器把数据直接写入内核read缓冲区，这一步通过DMA完成；接下来就是内核将数据copy到进程的缓冲区；

如果进程发起write请求，同样需要把用户缓冲区里面的数据copy到内核的socket缓冲区里面，然后再通过DMA把数据copy到网卡中，发送出去；

你可能觉得这样挺浪费空间的，每次都需要把内核空间的数据拷贝到用户空间中，所以零拷贝的出现就是为了解决这种问题的；

关于零拷贝提供了两种方式分别是：mmap+write方式，sendfile方式；

2.虚拟内存

所有现代操作系统都使用虚拟内存，使用虚拟的地址取代物理地址，这样做的好处是：

1.一个以上的虚拟地址可以指向同一个物理内存地址，

2.虚拟内存空间可大于实际可用的物理地址；

利用第一条特性可以把内核空间地址和用户空间的虚拟地址映射到同一个物理地址，这样DMA就可以填充对内核和用户空间进程同时可见的缓冲区了，大致如下图所示：

流程图

省去了内核与用户空间的往来拷贝，java也利用操作系统的此特性来提升性能，下面重点看看java对零拷贝都有哪些支持。

3.mmap+write方式

使用mmap+write方式代替原来的read+write方式，mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系；这样就可以省掉原来内核read缓冲区copy数据到用户缓冲区，但是还是需要内核read缓冲区将数据copy到内核socket缓冲区，大致如下图所示：

流程图

4.sendfile方式

sendfile系统调用在内核版本2.1中被引入，目的是简化通过网络在两个通道之间进行的数据传输过程。sendfile系统调用的引入，不仅减少了数据复制，还减少了上下文切换的次数，大致如下图所示：

流程图

数据传送只发生在内核空间，所以减少了一次上下文切换；但是还是存在一次copy，能不能把这一次copy也省略掉，Linux2.4内核中做了改进，将Kernel buffer中对应的数据描述信息（内存地址，偏移量）记录到相应的socket缓冲区当中，这样连内核空间中的一次cpu copy也省掉了；

Java零拷贝

1.MappedByteBuffer

java nio提供的FileChannel提供了map()方法，该方法可以在一个打开的文件和MappedByteBuffer之间建立一个虚拟内存映射，MappedByteBuffer继承于ByteBuffer，类似于一个基于内存的缓冲区，只不过该对象的数据元素存储在磁盘的一个文件中；调用get()方法会从磁盘中获取数据，此数据反映该文件当前的内容，调用put()方法会更新磁盘上的文件，并且对文件做的修改对其他阅读者也是可见的；下面看一个简单的读取实例，然后在对MappedByteBuffer进行分析：

public class MappedByteBufferTest {

public static void main(String[] args) throws Exception {

File file = new File(“D://db.txt”);

long len = file.length();

byte[] ds = new byte[(int) len];

MappedByteBuffer mappedByteBuffer = new FileInputStream(file).getChannel().map(FileChannel.MapMode.READ_ONLY, 0,

len);

for (int offset = 0; offset < len; offset++) {

byte b = mappedByteBuffer.get();

ds[offset] = b;

}

Scanner scan = new Scanner(new ByteArrayInputStream(ds)).useDelimiter(" ");

while (scan.hasNext()) {

System.out.print(scan.next() + " ");

}

主要通过FileChannel提供的map()来实现映射，map()方法如下：

public abstract MappedByteBuffer map(MapMode mode,

long position, long size)

throws IOException;

分别提供了三个参数，MapMode，Position和size；分别表示：

MapMode：映射的模式，可选项包括：READ_ONLY，READ_WRITE，PRIVATE；

Position：从哪个位置开始映射，字节数的位置；

Size：从position开始向后多少个字节；

重点看一下MapMode，请两个分别表示只读和可读可写，当然请求的映射模式受到Filechannel对象的访问权限限制，如果在一个没有读权限的文件上启用READ_ONLY，将抛出NonReadableChannelException；PRIVATE模式表示写时拷贝的映射，意味着通过put()方法所做的任何修改都会导致产生一个私有的数据拷贝并且该拷贝中的数据只有MappedByteBuffer实例可以看到；该过程不会对底层文件做任何修改，而且一旦缓冲区被施以垃圾收集动作（garbage collected），那些修改都会丢失；大致浏览一下map()方法的源码：

public MappedByteBuffer map(MapMode mode, long position, long size)

throws IOException

{

…省略…

int pagePosition = (int)(position % allocationGranularity);

long mapPosition = position - pagePosition;

long mapSize = size + pagePosition;

try {

// If no exception was thrown from map0, the address is valid

addr = map0(imode, mapPosition, mapSize);

} catch (OutOfMemoryError x) {

// An OutOfMemoryError may indicate that we’ve exhausted memory

// so force gc and re-attempt map

System.gc();

try {

Thread.sleep(100);

} catch (InterruptedException y) {

Thread.currentThread().interrupt();

}

try {

addr = map0(imode, mapPosition, mapSize);

} catch (OutOfMemoryError y) {

// After a second OOME, fail

throw new IOException(“Map failed”, y);

}

// On Windows, and potentially other platforms, we need an open

// file descriptor for some mapping operations.

FileDescriptor mfd;

try {

mfd = nd.duplicateForMapping(fd);

} catch (IOException ioe) {

unmap0(addr, mapSize);

throw ioe;

}

assert (IOStatus.checkAll(addr));

assert (addr % allocationGranularity == 0);

int isize = (int)size;

Unmapper um = new Unmapper(addr, mapSize, isize, mfd);

if ((!writable) || (imode == MAP_RO)) {

return Util.newMappedByteBufferR(isize,

addr + pagePosition,

mfd,

um);

} else {

return Util.newMappedByteBuffer(isize,

addr + pagePosition,

mfd,

um);

}

大致意思就是通过native方法获取内存映射的地址，如果失败，手动gc再次映射；最后通过内存映射的地址实例化出MappedByteBuffer，MappedByteBuffer本身是一个抽象类，其实这里真正实例话出来的是DirectByteBuffer；

2.DirectByteBuffer

DirectByteBuffer继承于MappedByteBuffer，从名字就可以猜测出开辟了一段直接的内存，并不会占用jvm的内存空间；上一节中通过Filechannel映射出的MappedByteBuffer其实际也是DirectByteBuffer，当然除了这种方式，也可以手动开辟一段空间：

ByteBuffer directByteBuffer = ByteBuffer.allocateDirect(100);

如上开辟了100字节的直接内存空间；