Netty零拷贝机制

一：用户空间与内核空间

操作系统的核心是内核，它不同于普通应用程序，所以为了保护内核的存储空间，操作系统将虚拟空间分为了两个部分：内核空间和用户空间。

二：传统IO流程

四次上下文切换，四次拷贝。


1、将磁盘文件，读取到操作系统内核缓冲区；
2、将内核缓冲区的数据，拷贝到用户空间的缓冲区；
3、数据从用户空间缓冲区拷贝到内核的socket网络发送缓冲区；
4、数据从内核的socket网络发送缓冲区拷贝到网卡接口（硬件）的缓冲区，由网卡进行网络传输。

三：零拷贝常见的实现方式

1. mmap + write

mmap通过内存映射，将文件映射到内核缓冲区。同时，用户空间可以共享内核空间的数据。这样，在进行网络传输时，就可以减少内核空间到用户空间的拷贝次数。如下图：

优化后：三次拷贝 + 四次上下文切换。

2. sendfile

sendfile实现有两个版本，我们这里只介绍真正实现零拷贝技术的后者，即通过SG-DMA技术实现数据拷贝。

Linux 2.1版本提供了sendFile函数，其基本原理如下：
数据根本不经过用户态，直接从内核缓冲区进入到Socket Buffer，同时，由于和用户态完全无关，就减少了一次上下文切换。

只需 2 次拷贝：
第一次使用 DMA 从磁盘文件拷贝到内核缓冲区；
第二次从内核缓冲区将数据拷贝到网络协议栈（网卡）；

（内核缓存区只会拷贝一些 offset 和 length 信息到SocketBuffer，基本无消耗）
优化后：两次上下文切换 + 两次拷贝。

四：Java中零拷贝

通过Java的FileChannel.transferTo()方法实现零拷贝：
底层是调用Linux操作系统中的sendfile()实现的。

通过Java的FileChannel.map()方法实现零拷贝：
底层是调用Linux操作系统中的mmap()实现的。

再稍微讲讲 mmap 和 sendFile 的区别：
1、mmap 适合小数据量读写，sendFile 适合大文件传输。
2、mmap 需要 4 次上下文切换，3 次数据拷贝；sendFile 需要 3 次上下文切换，最少 2 次数据拷贝。
3、sendFile 可以利用 DMA 方式，减少 CPU 拷贝，mmap 则不能（必须从内核拷贝到 Socket 缓冲区）。

在这个选择上：RocketMQ 在消费消息时，使用了 mmap。Kafka 使用了 sendFile。

五：Netty 中如何实现零拷贝

netty中的零拷贝和操作系统中零拷贝有点不一样，操作系统实现零拷贝主要是在内核态的优化，netty完全是在用户状态实现零拷贝。

1. CompositeByteBuf 实现零拷贝

通过将多个ByteBuf合并为一个逻辑上的ByteBuf，避免了各个ByteBuf之间的拷贝。

● 常规使用

ByteBuf allBuf = Unpooled.buffer(header.readableBytes() + body.readableBytes());
allBuf.writeBytes(header);
allBuf.writeBytes(body);

● 使用CompositeByteBuf

CompositeByteBuf compositeByteBuf = Unpooled.compositeBuffer();
compositeByteBuf.addComponents(true, header, body);

2. wrap 实现零拷贝

将byte[]数组、ByteBuf、ByteBuffer等包装成一个Netty ByteBuf对象进而避免了拷贝操作。

● 常规使用

byte[] bytes = ...
ByteBuf byteBuf = Unpooled.buffer();
byteBuf.writeBytes(bytes);

● 使用wrap

byte[] bytes = ...
ByteBuf byteBuf = Unpooled.wrappedBuffer(bytes);

3. slice 实现零拷贝

将ByteBuf 拆解成多个ByteBuf，但是共享同一存储空间不同分区，避免了内存拷贝。

ByteBuf byteBuf = ...
ByteBuf header = byteBuf.slice(0, 5);
ByteBuf body = byteBuf.slice(5, 10);

4. FileRegion实现零拷贝

通过FileRegion包装的FileChannel.tranferTo实现文件传输，可以直接将文件缓冲区的数据发送到目标Channel，避免了传统通过循环write方式导致的内存拷贝问题。

● 传统文件传输

public static void copyFile(String srcFile, String destFile) throws Exception {
    byte[] temp = new byte[1024];
    FileInputStream in = new FileInputStream(srcFile);
    FileOutputStream out = new FileOutputStream(destFile);
    int length;
    while ((length = in.read(temp)) != -1) {
        out.write(temp, 0, length);
    }

    in.close();
    out.close();
}

● file Region

public static void copyFileWithFileChannel(String srcFileName, String destFileName) throws Exception {
    RandomAccessFile srcFile = new RandomAccessFile(srcFileName, "r");
    FileChannel srcFileChannel = srcFile.getChannel();

    RandomAccessFile destFile = new RandomAccessFile(destFileName, "rw");
    FileChannel destFileChannel = destFile.getChannel();

    long position = 0;
    long count = srcFileChannel.size();

    srcFileChannel.transferTo(position, count, destFileChannel);
}