在用户态打开文件时,指定O_DIRECT便可以轻松实现direct IO,然而在内核态打开文件时指定O_DIRECT却出现错误,发现无论是对文件执行读操作还是写操作都会失败。那么,如何在内核态下绕过内核cache,实施direct IO呢?
首先分析为什么在内核态下使用O_DIRECT会出现读写操作都失败的原因。通过跟踪源代码发现,如果指定O_DIRECT,那么vfs_write或者vfs_read最终会调用do_direct_IO,该函数在dio_get_page过程中通过get_user_pages_fast来获取用户态传递进来的地址对应的page。但是此时内核态传进来的为内核空间地址,导致get_user_pages_fast失败,最终导致vfs_read或者vfs_write的失败。分析了错误的原因,下面就来谈谈解决的方案:
1. 不用O_DIRECT,直接echo 3 > /proc/sys/vm/drop_caches这个命令来清空缓存;
2. 自己写函数替换get_user_pages_fash;
3. 在用户态空间申请缓存供内核使用,这样就不用担心get_user_pages_fast这个函数报错了。
以上三种方法,第一种不能算是解决方案的解决方案,也不符合通过代码实现direct IO的要求;第二种方法本人能力有限,还无法实现;相比之下第三种方法比较简单,我就给大家介绍以下第三种方法。第三种方法的关键是申请用户空间的缓冲区,这里我们通过do_mmap_pgoff这个函数来实现。
do_mmap_pgoff在include/linux/mm.h头文件里被定义,它的实现在mm/mmap.c文件里。这个函数的主要作用就是实现内存的映射。