Java零拷贝原理介绍
DMA 传输原理
在介绍IO方式前,先介绍以下DMA传输原理。DMA 的全称叫直接内存存取(Direct Memory Access),是一种允许外围设备(硬件子系统)直接访问系统主内存的机制。也就是说,基于 DMA 访问方式,系统主内存于硬盘或网卡之间的数据传输可以绕开 CPU 的全程调度。
数据传输操作在一个 DMA 控制器的控制下进行,CPU 除了在数据传输开始和结束时做一点处理外(开始和结束时候要做中断处理),在传输过程中 CPU 可以继续进行其他的工作。这就使得CPU 计算和 I/O 操作都处于并行操作,极大的提高了计算机的工作效率。
传统IO方式
传统IO中用户触发 read()操作,会触发上下文切从用户态切换到内核态,将数据从磁盘拷贝到内核缓冲区中,然后又将数据从内核缓冲区拷贝到用户缓冲区,此时又将内核态切换到用户态。
write()操作使得用户态切换到内核态,将用户线程的数据拷贝到socket缓冲区,然后将数据又拷贝到网卡中,最后write操作结束,从内核态从新切换到用户态。
这种传统方式经历了4次上下文切换,4次数据拷贝(2次cpu拷贝和2次DMA拷贝)。
零拷贝方式
在 Linux 中零拷贝技术主要有 3 个实现思路:
- 用户态直接 I/O:应用程序可以直接访问硬件存储,操作系统内核只是辅助数据传输
- 减少数据拷贝次数:在数据传输过程中,避免数据在用户空间缓冲区和系统内核空间缓冲区之间的 CPU 拷贝,以及数据在系统内核空间内的 CPU 拷贝,这也是当前主流零拷贝技术的实现思路。
- 写时复制技术:写时复制指的是当多个进程共享同一块数据时,如果其中一个进程需要对这份数据进行修改,那么将其拷贝到自己的进程地址空间中,如果只是数据读取操作则不需要进行拷贝操作。
用户态直接 I/O
用户态直接 I/O 只能适用于不需要内核缓冲区处理的应用程序,这种零拷贝机制会直接操作磁盘 I/O,由于 CPU 和磁盘 I/O 之间的执行时间差距,会造成大量资源的浪费
mmap+write
使用 mmap+write 代替原来的 read+write 方式,减少了 1 次 CPU 拷贝操作,还是又4次上下文切换。
**mmap 主要的用处是提高 I/O 性能,特别是针对大文件。**对于小文件,内存映射文件反而会导致碎片空间的浪费。
因为内存映射总是要对齐页边界,最小单位是 4 KB,一个 5 KB 的文件将会映射占用 8 KB 内存,也就会浪费 3 KB 内存。
mmap 的拷贝虽然减少了 1 次拷贝,提升了效率,但也存在一些隐藏的问题。
当 mmap 一个文件时,如果这个文件被另一个进程所截获,那么 write 系统调用会因为访问非法地址被 SIGBUS 信号终止,SIGBUS 默认会杀死进程并产生一个 coredump,服务器可能因此被终止。
Sendfile
通过 Sendfile 系统调用,数据可以直接在内核空间内部进行 I/O 传输,从而省去了数据在用户空间和内核空间之间的来回拷贝。
Sendfile 调用中 I/O 数据对用户空间是完全不可见的,也就是说用户是无法操作数据的,这是系统内部的纯粹的数据传输。
基于 Sendfile 系统调用的零拷贝方式,整个拷