linux flush 磁盘,linux 磁盘IO栈和优化思路

首先来看一下整个的IO栈，大概分为7层，每一层都有其特殊的功能和意义。

IO Layer

1、VFS层

即虚拟文件系统，这是linux内核为了应对不同的文件系统(ext3\ext4)抽象出来的，直接与系统调用对接，当read/write系统调用进行读写操作时，首先与内核的VFS打交道。

VFS层屏蔽了不同文件系统的差异，向上层提供统一的文件读写访问接口。

与VFS相关的数据结构，只位于内存中。这些数据结构实现VFS到实际文件系统的转换，包括超级块、VFS的索引节点、各种文件操作函数的转换等。

超级块和VFS inode对应磁盘上的超级块和inode，来自于disk上的，目录项是系统在内存中根据inode建立的文件层级关系。

2、FS层

具体的文件系统层，比如ext3、ext4等，文件系统建立在逻辑分区之上，创建好逻辑分区，并在其上创建相应类型的文件系统，就会在此逻辑分区上建立超级块和inode表，当文件系统mount时，这些数据结构就被读入内存，由VFS层在内存中建立相应的对应关系。

3、pagecache层

pagecache是内存中开辟出一块地方用于将经常访问的数据存储在内存中，这样当IO请求来时：对应读请求，先在pagecache中查找，如果命中则直接返回，这样就减少了从磁盘读取数据的延迟，内存数据访问速度远远大于disk io，提高了性能；对于写请求直接将数据写到pagecache后就返回写完成，等到操作系统的机制将cache中的数据flush到磁盘，这样也提高了写的效率。

注意：对于直接IO，是不经过pagecache的。

如何查看当前内存cache：

a、free -h

b、cat /proc/meminfo

Cached: 1071576 kB    #当前cache使用量

SwapCached:            0 kB   #准备写入swap的数据，这一项与使用swap有关

......

Dirty: 0 kB     #内存中缓存的脏数据，即这些数据在内存中已经更新，还没有写到disk，如果此时机器断电，则数据将丢失

Writeback:            0 kB   #正在从cache写回disk的数据大小

一般关注以上几个与cache相关的项。

与pagecache相关的内核参数：

vm.dirty_background_ratio ：这个参数表示当pagecache占到了内存的百分之多少，就开始异步的flushcache数据到disk

vm.dirty_ratio ：这个参数是个硬限制，表示pagecache占到内存的百分之多少，阻塞IO进行同步flush cache数据到disk的操作

vm.dirty_writeback_centisecs ：表示多长时间 pdflush/flush/kdmflush 这些进程会起来一次，进行cache数据flush。

vm.dirty_expire_centisecs ：表示执行flush操作的进程起来之后，将多长时间的过期数据flush到disk。

如果不想过量的使用pagecache，可以这么设置：

vm.dirty_background_ratio = 5

vm.dirty_ratio = 10

4、通用块层(generic block layer)

这一层其实是对底下的块设备提供了一个抽象，屏蔽了不同块设备不同的访问方式。

5、IO调度层(IO scheduler layer)

IO调度层主要完成块设备的请求队列的处理。即接收通用块层发出的I/O请求，缓存请求并试图合并相邻的请求。并根据设置好的调度算法，回调驱动层提供的请求处理函数，以处理具体的I/O请求。

常见的I/O调度算法包括Noop调度算法(No Operation)、CFQ(完全公正排队I/O调度算法)、DeadLine(截止时间调度算法)

我们可以根据应用类型来调整IO scheduler，根据后端存储或者磁盘调整io队列和队列深度，以优化磁盘的IO性能。

# cat /sys/block/sda/queue/nr_requests

128

# cat /sys/block/sda/device/queue_depth

64

# cat /sys/block/sda/queue/scheduler

noop [deadline] cfq

6、块设备驱动层

该层主要给上层提供块设备的驱动接口函数，完成相应的读写操作。

7、块设备层

块设备层真正的执行读写处理，对于SATA、SAS、等磁盘就是寻道读取，对于SSD盘就是直接读取，所以块设备对于整体的IO性能还是有很大的影响。