目录
一.DMA技术
直接内存访问(DMA):在进行I/O设备和内存的数据传输的时候,数据搬运的工作全部交给DMA控制器,而CPU不再参与任何与数据搬运相关的事情,这样CPU就可以去处理别的事务。
二.DMA数据传输过程
具体过程:
- 用户进程调用read方法,向操作系统发出IO请求,请求数据读取到自己的内存缓冲区中,进程进入阻塞状态。
- 操作系统收到请求后,进一步将I/O请求发送DMA,让CPU执行其他任务。
- DMA将I/O请求发送给磁盘。
- 磁盘收到DMA的I/O请求,把数据从磁盘读取到磁盘控制器的缓冲区中,当磁盘的控制器缓冲区被读满后,向DMA发起中断信号,告诉自己缓冲区已满。
- DMA收到磁盘的信号,将磁盘控制器缓冲区的数据拷贝到内核缓冲区中,此时不占用CPU,CPU可以执行其他任务。
- 当DMA读取了足够多的数据,就会发送中断信号给CPU。
- CPU收到DMA的信号,知道数据已经准备好,于是将数据从内核拷贝到用户空间,系统调用返回。
在数据传输的整个过程中,CPU不再参与数据搬运的工作,而是全程由DMA完成,但是CPU在这个过程中是必不可少的,因为传输什么数据,从哪里传输到哪里,都需要CPU来告诉DMA控制器。
三.传统的文件传输过程
在文件传输期间发生了四次用户态和内核态的上下文切换,因为发生了两次系统调用,一次是read(),一次是write(),每次系统调用都得先从用户态切换到内核态,等内核完成任务后,再从内核态切换到用户态。
于此同时发生了四次数据拷贝,其中两次是DMA拷贝,另外两次是CPU拷贝:
- 第一次拷贝:把磁盘上的数据拷贝到操作系统内核的缓冲区里,这个拷贝的过程是通过DMA搬运的。
- 第二次拷贝:把内核缓冲区的数据拷贝拷贝到用户的缓冲区里,于是我们应用程序就可以使用这部分数据了,这个拷贝过程是由CPU完成的。
- 第三次拷贝:把刚才拷贝到用户的缓冲区里的数据,再拷贝到内核的Socket缓冲区里,这个过程依然还是由CPU完成的。
- 第四次拷贝:把内核的Socket缓冲区里的数据,拷贝到网卡的缓冲区里,这个过程又是DMA搬运的。
在整个该过程中,只有一份数据的传输,但却经历了四次拷贝,极大消耗CPU资源,大大降低了系统性能。
四.零拷贝实现
零拷贝技术实现的方式通常有两种:1.mmap + write;2.sendfile;
4.1 mmap + write
mmap()系统调用函数会直接把内核缓冲区里的数据映射到用户空间,这样,操作系统内核与用户空间之间就不需要任何的数据拷贝操作。
实现过程:
- 应用进程调用了mmap()后,DMA 会把磁盘的数据拷贝到内核的缓冲区里,接着应用进程和操作系统内核共享这个缓冲区。
- 应用进程再调用write(),操作系统直接将内核缓冲区的数据拷贝到Socket缓冲区中,这一切都发生在内核态,由CPU来搬运数据。
- 最后把内核的Socket缓冲区里的数据,拷贝到网卡的缓冲区里,这个过程是由DMA 搬运的。
在数据的整个传输过程中由mmap()代替read(),减少了一次数据拷贝的过程,但是仍然需要四次上下文切换,系统调用了两次。
4.2 sendfile
sendfile()可以替代前面的read()和write()两个系统调用,由此可减少一次系统调用,也就减少了两次上下文切换的开销,在这次系统调用的过程中可直接将内核缓冲区的数据拷贝到Socket缓冲区里,不再拷贝到应用态,仅有两次上下文切换和三次数据拷贝。
在Linux内核2.4版本后,对于网卡支持SG-DMA技术下,sendfile()系统调用做了改变:
- 通过DMA将磁盘上的数据拷贝到内核缓冲区里。
- 缓冲区描述符和数据长度传到Socket缓冲区里,这样网卡的SG-DMA控制器可直接将内核缓存中的数据拷贝到网卡的缓冲区里,此过程不需要将数据从操作系统内核缓冲区拷贝到Socket缓冲区中,减少了一次数据拷贝。
在零拷贝过程中仅进行了两次数据拷贝。
零拷贝(Zero-copy)技术:因为没有在内存层面去拷贝数据,也就是全程没有通过CPU来搬运数据,所有的数据都是通过DMA来进行传输的。
零拷贝技术的文件传输方式与传统文件传输方式相比,减少了两次上下文切换和数据拷贝次数,只需要两次上下文切换和数据拷贝次数,就可以完成文件的传输,而两次的数据拷贝过程,都不需要CPU,两次都是DMA来搬运,因此零拷贝技术可将文件传输的性能提高至少一倍以上。
五.零拷贝技术的应用
使用零拷贝技术的项目有 Kafak 和 Nginx。