直接IO路径分析

直接IO路径

下图，是在O_DIRECT打开模式下，对文件进行进行读写的函数调用图。

 

函数generic_file_aio_read进行IO类型判别，如果是直接IO：

对块设备文件，会走blkdev_direct_IO分支，代码如下：

清单 1. 函数 blkdev_direct_IO()

static ssize_t blkdev_direct_IO(int rw, struct kiocb *iocb, const struct iovec *iov,                         loff_t offset, unsigned long nr_segs) {         struct file *file = iocb->ki_filp;         struct inode *inode = file->f_mapping->host;         return blockdev_direct_IO_no_locking_newtrunc(rw, iocb, inode,                                 I_BDEV(inode), iov, offset, nr_segs,                                 blkdev_get_blocks, NULL); }

它只是简单取出文件对象和索引节点结构，索引节点同时是其地址空间的owner，然后，调用blockdev_direct_IO_no_locking_newtrunc. 而blockdev_direct_IO_no_locking_newtrunc只是一个封装函数，它立即调用 __blockdev_direct_IO_newtrunc.

清单 2 函数 blkdev_direct_IO_no_locking_newtrunc()

static inline ssize_t blockdev_direct_IO_no_locking_newtrunc(int rw, struct kiocb *iocb,         struct inode *inode, struct block_device *bdev, const struct iovec *iov,         loff_t offset, unsigned long nr_segs, get_block_t get_block,         dio_iodone_t end_io) {         return __blockdev_direct_IO_newtrunc(rw, iocb, inode, bdev, iov, offset,                                 nr_segs, get_block, end_io, NULL, 0); }

对普通文件，会走blockdev_direct_IO_newtrunc，代码如下：

清单 2 函数 blkdev_direct_IO_newtrunc()

static inline ssize_t blockdev_direct_IO_newtrunc(int rw, struct kiocb *iocb,         struct inode *inode, struct block_device *bdev, const struct iovec *iov,         loff_t offset, unsigned long nr_segs, get_block_t get_block,         dio_iodone_t end_io) {         return __blockdev_direct_IO_newtrunc(rw, iocb, inode, bdev, iov, offset,                                     nr_segs, get_block, end_io, NULL,                                     DIO_LOCKING | DIO_SKIP_HOLES); }

到这一步可以看出，对普通文件和块设备文件的直接IO，到最后都会调用__blockdev_direct_IO_newtrunc，其差别在于有没加锁，可以看它的最后一个参数是不同的，即对普通文件的DIO要加锁，避免多个进程在同一时刻对文件写，而块设备文件则没有加以限制，而是交由底层的设备驱动进行处理，底层的写操作会以串行方式执行。

__blockdev_direct_IO_newtrunc函数，代码如下，主要完成这样几个任务

1）检查各个段的内存边界，不能出现跨页的段

2）检查，如果有锁，即是对普通文件的DIO，则调用filemap_write_and_wait_range，将相应位置可能存在的page cache废弃掉或刷回磁盘（避免产生不一致），然后调用direct_io_worker来处理请求

清单 3 函数 __blkdev_direct_IO_newtrunc()

ssize_t __blockdev_direct_IO_newtrunc(int rw, struct kiocb *iocb, struct inode *inode,         struct block_device *bdev, const struct iovec *iov, loff_t offset,          unsigned long nr_segs, get_block_t get_block, dio_iodone_t end_io,         dio_submit_t submit_io, int flags) {         if (dio->flags & DIO_LOCKING) {                 ...                 mutex_lock(&inode->i_mutex);                 retval=filemap_write_and_wait_range(mapping,offset, end-1);                 ...         }         retval = direct_io_worker(rw, iocb, inode, iov, offset,nr_segs, blkbits, get_block,                               end_io, submit_io, dio);         ... }

direct_io_worker，一次可能包含多个读操作，对于其中的每一个，调用do_direct_IO.