传统io
步骤:硬盘(dma)》内核缓冲(cpu)》用户缓冲(cpu)》socket缓冲(dma)》协议层
1、四次上下文切换。
2、四次copy
Mmap(内存映射):
步骤:硬盘(dma)》内核缓冲(share用户缓冲)(cpu)》socket缓冲(dma)》协议层
优点
- 较缓存io,因为系统内核缓存和用户缓存共享,通过mmap访问硬盘数据减少了一次系统缓存至应用缓存之间的copy,提升了性能。
- 实现用户区域与系统内核之间的高效交互。
- 提供进程间共享内存间的相互通信方式。(如k8s的共享内存就要到这种方式)
- 可用于实现高效的大规模数据传输。(因为mmap的内存可大于物理内存,采取淘汰算法,将需要淘汰的内存页换成新的内存页)
缺点
- 文件很小,小于4096,因为mmap是页为单位,因此连续小文件会浪费内存。
- 对变长文件不适合,文件无法扩展;mmap到内存,所能操作的访问就确认了。
- 更新文件操作很多的情况不适合,因为会产生大量脏页回写,引发随机io。
直接io
步骤:硬盘(dma?)》用户内存》协议层。
少了内核缓存这步骤,直接操作硬盘。
优点
不用经过内核缓冲,节省了内存,某种场景下算是加快了速度,nginx支持直接io;
数据库采用这种方式就很好,实时修改文件,及时响应修改。
缺点
没有内核缓冲,意味着每次访问文件都从硬盘访问,多线程同时访问同一文件的时候性能会比较差。
一般跟aio异步线程一起使用。
sendFile (零拷贝)
步骤:
2.1内核:硬盘(dma)》内核缓冲(cpu)》socket缓存(dma)》协议层。(不经过用户层)
2.4内核以上:硬盘(dma)》内核缓冲(cpu)》des描述文件进入socket缓冲(dma)》协议层。(不经过用户层,文件不经过socket缓冲,只是描述文件进入socket缓冲)
2.1三次上下文切换,三次copy。
2.4三次上下文切换,两次copy,文件直接内核缓存传输到协议层。
优点
1、节省内存空间,只在内核缓冲存储了一份数据,减少内存拷贝(2-3次),上线文切换(3次)
2、充分利用了dma,减少cpu的负担。
缺点
1、数据不经过用户系统,都是在操作系统内核中传输,用户系统编写的对传输内容操作不了?
2、貌似传输文件大于2g会出问题。
暂未发现太多。。
kafka、nginx都支持零拷贝;