“零拷贝”指的是:不在内核态和用户态之间拷贝数据。
正常情况下,拷贝一个文件的步骤是:
- 通过
read()
读取文件:磁盘 -> 内核缓冲区 -> 用户缓冲区; - 通过
write()
写数据:用户缓冲区 -> 内核缓冲区 -> 磁盘。
可见,数据在用户态缓冲区和内核态缓冲区之间来回拷贝了两次。
使用零拷贝技术之后,数据流方向为:磁盘 -> 内核缓冲区 -> 磁盘。
#define _GNU_SOURCE
#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out,
size_t len, unsigned int flags);
- 在两个文件描述符之间拷贝数据,但不会在内核态和用户态之间来回拷贝数据。
- 成功时返回写到管道或从管道读取的字节数,失败时返回
-1
,并设置errno
。 - 从
fd_in
读取数据,写到fd_out
中,且最多只传送len
个字节。 fd_in
和fd_out
中必须有一个是管道描述符。- 如果
fd_in
指向管道,则off_in
必须为NULL
。 - 如果
fd_in
不指向管道,但off_in
为NULL
,则会从当前文件偏移量开始读取数据,并相应地修改文件偏移量。 - 如果
fd_in
不指向管道,且off_in
不为NULL
,则会从文件偏移量*off_in
处开始读取数据,会相应地修改off_in
,但不会修改原来的文件偏移量。 fd_out
和off_out
情况类似。flags
常用值:SPLICE_F_MORE
(提示后续会有更多的数据到来);SPLICE_F_NONBLOCK
(在读写管道时不要阻塞);SPLICE_F_MOVE
(如果可以的话,移动页而不是拷贝页)。- 在实现上,并没有将数据从输入缓冲区(内核态)拷贝到输出缓冲区(内核态),而是输入缓冲区的指针和输出缓冲区的指针指向同一个内存页。
- 此外,
len
的大小实际上受限于管道的容量(可以通过man 7 pipe
来查看),一般是 16 个内存页(页大小可以通过getconf PAGE_SIZE
来查看,一般是 4096 字节),故,len
的最大值一般为 65536 字节。 splice
的使用方法是:- 创建两个文件描述符:
fdIn
用于输入,fdOut
用于输出; - 创建一个管道:
pipeFds
; - 调用一次
splice
:从fdIn
读数据,并写入管道pipeFds[1]
; - 再调用一次
splice
:从管道piepFds[0]
读数据,并写到fdOut
。
- 创建两个文件描述符:
#define _GNU_SOURCE
#include <stdio.h>
#include <stdlib.h>
#include <fcntl.h>
#include <unistd.h>
int main(int argc, char* argv[]) {
if (argc != 3) {
printf("Usage: %s in-file, out-file\n", argv[0]);
exit(EXIT_FAILURE);
}
int fdIn = open(argv[1], O_RDONLY);
int fdOut = open(argv[2], O_WRONLY|O_CREAT, 0644);
int pipeFds[2];
pipe(pipeFds);
size_t len = 65536;
unsigned int flags = SPLICE_F_MOVE;
ssize_t nRead;
do {
nRead = splice(fdIn, NULL, pipeFds[1], NULL, len, flags);
splice(pipeFds[0], NULL, fdOut, NULL, nRead, flags);
} while (nRead > 0);
close(fdIn);
close(fdOut);
close(pipeFds[0]);
close(pipeFds[1]);
return 0;
}