《Linux性能优化实战》笔记（十六）—— 系统IO瓶颈分析与优化思路

一、 性能指标

二、 性能工具

 

三、 IO瓶颈分析思路

虽然IO问题千差万别，但最开始的分析思路基本上类似，都是：

• 先用 iostat 发现磁盘 I/O 性能瓶颈；
• 再借助 pidstat ，定位出导致瓶颈的进程；
• 随后分析进程的 I/O 行为；
• 最后，结合应用程序的原理，分析这些 I/O 的来源。

为了缩小排查范围，我通常会先运行那几个支持指标较多的工具，如 iostat、vmstat、pidstat 等。然后再根据观察到的现象，结合系统和应用程序的原理，寻找下一步的分析方向。

 

四、 I/O 性能优化思路

1. 应用程序优化

应用程序处于整个 I/O 栈的最上端，它可以通过系统调用，来调整 I/O 模式（如顺序/随机、同步/异步）， 同时它也是 I/O 数据的最终来源。常见优化思路如下：

• 追加写代替随机写，减少寻址开销，加快 I/O 写的速度。
• 借助缓存 I/O ，充分利用系统缓存，降低实际 I/O 的次数。
• 在应用程序内部构建自己的缓存，或者用 Redis 这类外部缓存系统。
• 在需要频繁读写同一块磁盘空间时，可以用 mmap 代替 read/write，减少内存的拷贝次数。
• 在需要同步写的场景中，尽量将写请求合并，而不是让每个请求都同步写入磁盘，即可以用 fsync() 取代 O_SYNC。
• 在多个应用程序共享相同磁盘时，为了保证 I/O 不被某个应用完全占用，推荐使用 cgroups 的 I/O 子系统来限制进程 / 进程组的 IOPS 以及吞吐量。
• 在使用 CFQ 调度器时，可以用 ionice 来调整进程的 I/O 调度优先级，特别是提高核心应用的 I/O 优先级。ionice 支持三个优先级类：Idle、Best-effort 和 Realtime。Best-effort 和 Realtime 还分别支持 0-7 的级别，数值越小表示优先级别越高。

 

2. 文件系统优化

应用程序访问普通文件时，实际是由文件系统间接负责文件在磁盘中的读写。所以，跟文件系统中相关的也有很多优化 I/O 性能的方式。

• 根据实际负载场景的不同，选择最适合的文件系统。比如 Ubuntu 默认使用ext4 文件系统，而 CentOS 7 默认使用 xfs 文件系统。相比于 ext4 ，xfs 支持更大的磁盘分区和更大的文件数量，如 xfs 支持大于 16TB 的磁盘。但是 xfs 文件系统的缺点在于无法收缩，而 ext4 则可以。
• 优化文件系统的配置选项，包括文件系统的特性（如 ext_attr,dir_index）、日志模式（如 journal,ordered,writeback）、挂载选项（如 noatime）等等。
• 优化文件系统的缓存。比如优化 pdflush 脏页的刷新频率（设置 dirty_expire_centisecs 和 dirty_writeback_centisecs）以及脏页的限额（比如调整 dirty_background_ratio 和 dirty_ratio 等）。
• 优化内核回收目录项缓存和索引节点缓存的倾向，即调整vfs_cache_pressure（/proc/sys/vm/vfs_cache_pressure，默认值 100），数值越大，表示越容易回收。
• 在不需要持久化时，还可以用内存文件系统 tmpfs，tmpfs 把数据直接保存在内存而不是磁盘中。比如 /dev/shm/ ，就是大多数 Linux 默认配置的一个内存文件系统，它的大小默认为总内存的一半。

 

3. 磁盘优化

数据的持久化存储，最终还是要落到具体的物理磁盘中，磁盘也是整个 I/O 栈的最底层。从磁盘角度出发，自然也有很多有效的性能优化方法。

• 最简单有效的优化方法，就是换用性能更好的磁盘，比如用 SSD 替代 HDD。
• 可以使用 RAID ，把多块磁盘组合成一个逻辑磁盘，既可以提高数据的可靠性，又可以提升数据的访问性能。
• 针对磁盘和应用程序 I/O 模式的特征，选择最适合的 I/O 调度算法。比方说，SSD 和虚拟机中的磁盘，通常用的是 noop 调度算法。而数据库应用，我更推荐使用deadline 算法。
• 可以对应用程序的数据进行磁盘级别的隔离。比如可以为日志、数据库等 I/O 压力比较重的应用，配置单独的磁盘。
• 在顺序读比较多的场景中，可以增大磁盘的预读数据，比如，你可以通过下面两种方法，调整 /dev/sdb 的预读大小。

调整内核选项 /sys/block/sdb/queue/read_ahead_kb，默认大小是 128 KB，单位为KB。

使用 blockdev 工具设置，比如 blockdev --setra 8192 /dev/sdb，注意这里的单位是512B（0.5KB），所以它的数值总是 read_ahead_kb 的两倍。

• 可以优化内核块设备 I/O 的选项。比如，可以调整磁盘队列的长度 /sys/block/sdb/queue/nr_requests，适当增大队列长度，可以提升磁盘的吞吐量（当然也会导致 I/O 延迟增大）。
• 最后，要注意，磁盘本身出现硬件错误，也会导致 I/O 性能急剧下降，所以发现磁盘性能急剧下降时，你还需要确认，磁盘本身是不是出现了硬件错误。比如，你可以查看 dmesg 中是否有硬件 I/O 故障的日志。 还可以使用 badblocks、smartctl 等工具，检测磁盘的硬件问题，或用 e2fsck 等来检测文件系统的错误。如果发现问题，可以使用 fsck 等工具来修复。