详解Linux中的零拷贝技术，小白也能秒懂！

最新推荐文章于 2024-05-28 15:43:46 发布

nice想当程序员

最新推荐文章于 2024-05-28 15:43:46 发布

阅读量2.3k

点赞数 7

分类专栏： Linux 文章标签： java linux 零拷贝

本文链接：https://blog.csdn.net/qq_43080036/article/details/109290905

版权

零拷贝技术能减少CPU拷贝，降低内存带宽占用，减少上下文切换，提高代码性能。本文介绍了Linux中零拷贝的原理，包括sendfile和mmap的实现，对比了传统I/O和零拷贝I/O的差异，详细解析了Java中的零拷贝方式。

摘要由CSDN通过智能技术生成

前言

大白话解释，零拷贝就是没有把数据从一个存储区域拷贝到另一个存储区域。但是没有数据的复制，怎么可能实现数据的传输呢？

其实我们在java NIO、netty、kafka遇到的零拷贝，并不是不复制数据，而是减少不必要的数据拷贝次数，从而提升代码性能

本文内容：

1、零拷贝给我们带来的好处：

2、Linux系统的“用户空间”和“内核空间”

5、通过sendfile实现的零拷贝I/O

6、带有DMA收集拷贝功能的sendfile实现的I/O

7、"传统I/O” VS “sendfile零拷贝I/O”

8、通过mmap实现的零拷贝I/O

9、FileChannel与零拷贝

10、java提供的零拷贝方式

1、零拷贝给我们带来的好处：

减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务
减少内存带宽的占用
通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换

2、Linux系统的“用户空间”和“内核空间”

内核空间：Linux自身使用的空间；主要提供进程调度、内存分配、连接硬件资源等功能
用户空间：提供给各个程序进程的空间；用户空间不具有访问内核空间资源的权限，如果应用程序需要使用到内核空间的资源，则需要通过系统调用来完成：从用户空间切换到内核空间，完成相关操作后再从内核空间切换回用户空间

3、Linux 中零拷贝技术的实现方向

① 直接 I/O：对于这种数据传输方式来说，应用程序可以直接访问硬件存储，操作系统内核只是辅助数据传输。这种方式依旧存在用户空间和内核空间的上下文切换，但是硬件上的数据不会拷贝一份到内核空间，而是直接拷贝至了用户空间，因此直接I/O不存在内核空间缓冲区和用户空间缓冲区之间的数据拷贝。

② 在数据传输过程中，避免数据在用户空间缓冲区和系统内核空间缓冲区之间的CPU拷贝，以及数据在系统内核空间内的CPU拷贝。本文主要讨论的就是该方式下的零拷贝机制。

③ copy-on-write(写时复制技术)：在某些情况下，Linux操作系统的内核空间缓冲区可能被多个应用程序所共享，操作系统有可能会将用户空间缓冲区地址映射到内核空间缓存区中。当应用程序需要对共享的数据进行修改的时候，才需要真正地拷贝数据到应用程序的用户空间缓冲区中，并且对自己用户空间的缓冲区的数据进行修改不会影响到其他共享数据的应用程序。所以，如果应用程序不需要对数据进行任何修改的话，就不会存在数据从系统内核空间缓冲区拷贝到用户空间缓冲区的操作。

注意，对于各种零拷贝机制是否能够实现都是依赖于操作系统底层是否提供相应的支持。

4、零拷贝机制的原理

下面我们通过一个Java非常常见的应用场景：将系统中的文件发送到远端(该流程涉及：磁盘上文件 ——> 内存(字节数组) ——> 传输给用户/网络)来详细展开传统I/O操作和通过零拷贝来实现的I/O操作。

4.1、传统I/O

#include <unistd>
ssize_t write(int filedes, void *buf, size_t nbytes);
ssize_t read(int filedes, void *buf, size_t nbytes);

如java在linux系统上，读取一个磁盘文件，并发送到远程端的服务

1）发出read系统调用，会导致用户空间到内核空间的上下文切换，然后再通过DMA将文件中的数据从磁盘上读取到内核空间缓冲区
2）接着将内核空间缓冲区的数据拷贝到用户空间进程内存，然后read系统调用返回。而系统调用的返回又会导致一次内核空间到用户空间的上下文切换
3）write系统调用，则再次导致用户空间到内核空间的上下文切换，将用户空间的进程里的内存数据复制到内核空间的socket缓冲区（也是内核缓冲区，不过是给socket使用的），然后write系统调用返回，再次触发上下文切换
4）至于socket缓冲区到网卡的数据传输则是独立异步的过程，也就是说write系统调用的返回并不保证数据被传输到网卡

Q：你可能会问独立和异步这是什么意思？难道是调用会在数据被传输前返回？
A：事实上调用的返回并不保证数据被传输；它甚至不保证传输的开始。它只是意味着将我们要发送的数据放入到了一个待发送的队列中，在我们之前可能有许多数据包在排队。除非