阿龙的学习笔记---零拷贝

零拷贝

概述

• 零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储，主要就是利用各种零拷贝技术，避免让CPU做大量的数据拷贝任务，减少不必要的拷贝，或者让别的组件来做这一类简单的数据传输任务，让CPU解脱出来专注于别的任务。这样就可以让系统资源的利用更加有效

无零拷贝的文件传输：

• 在写一个服务端程序时（Web Server或者文件服务器），文件下载是一个基本功能。这时候服务端的任务是：将服务端主机磁盘中的文件不做修改地从已连接的socket发出去，我们通常用下面的代码完成：

  while((n = read(diskfd, buf, BUF_SIZE)) > 0)
      write(sockfd, buf , n);
  

  • 基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。但是由于Linux的I/O操作默认是缓冲I/O。这里面主要使用的也就是read和write两个系统调用，我们并不知道操作系统在其中做了什么。实际上在以上I/O操作中，发生了多次的数据拷贝，也在用户态和内核态之间转化了多次，效率很低。
    

使用mmap()

• 使用mmap() 来减少拷贝次数：我们如何减少数据拷贝的次数呢？一个很明显的着力点就是减少数据在内核空间和用户空间来回拷贝，这也引入了零拷贝的一个类型：让数据传输不需要经过user space
  • 我们减少拷贝次数的一种方法是调用mmap()来代替read调用：

    buf = mmap(diskfd, len);
    write(sockfd, buf, len);
    

  • 应用程序调用mmap()，磁盘上的数据会通过DMA被拷贝的内核缓冲区，接着操作系统会把这段内核缓冲区与应用程序共享，这样就不需要把内核缓冲区的内容往用户空间拷贝。应用程序再调用write(),操作系统直接将内核缓冲区的内容拷贝到socket缓冲区中，这一切都发生在内核态，最后，socket缓冲区再把数据发到网卡去。
    同样的，看图很简单：
    

sendfile

• 使用sendfile：从2.1版内核开始，Linux引入了sendfile来简化操作:

  #include<sys/sendfile.h>
  ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
  

  • 系统调用sendfile()在代表输入文件的描述符in_fd和代表输出文件的描述符out_fd之间传送文件内容（字节）。描述符out_fd必须指向一个套接字，而in_fd指向的文件必须是可以mmap的。这些局限限制了sendfile的使用，使sendfile只能将数据从文件传递到套接字上，反之则不行。
  • 使用sendfile不仅减少了数据拷贝的次数，还减少了上下文切换，数据传送始终只发生在kernel space。
  • 

splice

• 使用splice：Linux在2.6.17版本引入splice系统调用，用于在两个文件描述符中移动数据(sendfile只适用于将数据从文件拷贝到套接字上，限定了它的使用范围)：

  #define _GNU_SOURCE         /* See feature_test_macros(7) */
  #include <fcntl.h>
  ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);
  

  • splice调用在两个文件描述符之间移动数据，而不需要数据在内核空间和用户空间来回拷贝。他从fd_in拷贝len长度的数据到fd_out，但是有一方必须是管道设备。