Java零拷贝原理介绍

本文详细介绍了Java中的零拷贝技术,包括DMA传输原理、传统IO方式、零拷贝方式(用户态直接I/O、mmap+write、Sendfile、Sendfile+DMA gather copy)以及Java如何实现零拷贝。对比了RocketMQ和Kafka在零拷贝技术上的应用,RocketMQ使用mmap+write,而Kafka则采用Sendfile。
摘要由CSDN通过智能技术生成

DMA 传输原理

在介绍IO方式前,先介绍以下DMA传输原理。DMA 的全称叫直接内存存取(Direct Memory Access),是一种允许外围设备(硬件子系统)直接访问系统主内存的机制。也就是说,基于 DMA 访问方式,系统主内存于硬盘或网卡之间的数据传输可以绕开 CPU 的全程调度。

数据传输操作在一个 DMA 控制器的控制下进行,CPU 除了在数据传输开始和结束时做一点处理外(开始和结束时候要做中断处理),在传输过程中 CPU 可以继续进行其他的工作。这就使得CPU 计算和 I/O 操作都处于并行操作,极大的提高了计算机的工作效率。

传统IO方式

在这里插入图片描述
传统IO中用户触发 read()操作,会触发上下文切从用户态切换到内核态,将数据从磁盘拷贝到内核缓冲区中,然后又将数据从内核缓冲区拷贝到用户缓冲区,此时又将内核态切换到用户态。
write()操作使得用户态切换到内核态,将用户线程的数据拷贝到socket缓冲区,然后将数据又拷贝到网卡中,最后write操作结束,从内核态从新切换到用户态。
这种传统方式经历了4次上下文切换,4次数据拷贝(2次cpu拷贝和2次DMA拷贝)。

零拷贝方式

在 Linux 中零拷贝技术主要有 3 个实现思路:

  • 用户态直接 I/O:应用程序可以直接访问硬件存储,操作系统内核只是辅助数据传输
  • 减少数据拷贝次数:在数据传输过程中,避免数据在用户空间缓冲区和系统内核空间缓冲区之间的 CPU 拷贝,以及数据在系统内核空间内的 CPU 拷贝,这也是当前主流零拷贝技术的实现思路。
  • 写时复制技术:写时复制指的是当多个进程共享同一块数据时,如果其中一个进程需要对这份数据进行修改,那么将其拷贝到自己的进程地址空间中,如果只是数据读取操作则不需要进行拷贝操作。

用户态直接 I/O

用户态直接 I/O 只能适用于不需要内核缓冲区处理的应用程序,这种零拷贝机制会直接操作磁盘 I/O,由于 CPU 和磁盘 I/O 之间的执行时间差距,会造成大量资源的浪费
在这里插入图片描述

mmap+write

使用 mmap+write 代替原来的 read+write 方式,减少了 1 次 CPU 拷贝操作,还是又4次上下文切换。

**mmap 主要的用处是提高 I/O 性能,特别是针对大文件。**对于小文件,内存映射文件反而会导致碎片空间的浪费。

因为内存映射总是要对齐页边界,最小单位是 4 KB,一个 5 KB 的文件将会映射占用 8 KB 内存,也就会浪费 3 KB 内存。

mmap 的拷贝虽然减少了 1 次拷贝,提升了效率,但也存在一些隐藏的问题。

当 mmap 一个文件时,如果这个文件被另一个进程所截获,那么 write 系统调用会因为访问非法地址被 SIGBUS 信号终止,SIGBUS 默认会杀死进程并产生一个 coredump,服务器可能因此被终止。
在这里插入图片描述

Sendfile

通过 Sendfile 系统调用,数据可以直接在内核空间内部进行 I/O 传输,从而省去了数据在用户空间和内核空间之间的来回拷贝。
Sendfile 调用中 I/O 数据对用户空间是完全不可见的,也就是说用户是无法操作数据的,这是系统内部的纯粹的数据传输。

基于 Sendfile 系统调用的零拷贝方式,整个拷

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值