确认 I O 瓶颈

遇到了性能问题，想要确认问题是否与较慢的磁盘I/O相关

使用-x 扩展 -d设备相结合的iostat命令来生成I/O统计信息

扩展设备每十分钟的信息

[oradev@develop ~]$ iostat -xd 10
Linux 4.1.12-124.16.4.el6uek.x86_64 (develop.china-fuhai.com) 2021年05月19日 x86_64 (32 CPU)

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.58 12.04 37.04 37.36 2309.57 1727.16 54.26 0.02 0.29 3.38 1.76 1.18 8.79
dm-0 0.00 0.00 0.17 2.76 16.58 38.47 18.79 0.00 1.30 3.13 1.18 0.38 0.11
dm-1 0.00 0.00 1.74 1.72 13.93 13.79 8.00 0.03 7.84 5.52 10.19 1.96 0.68
dm-2 0.00 0.00 35.81 43.45 2279.03 1641.31 49.46 0.05 0.67 3.34 2.36 1.03 8.16
dm-3 0.00 0.00 0.00 0.00 0.01 0.01 9.21 0.00 3.38 3.76 3.19 1.32 0.00
dm-4 0.00 0.00 0.00 1.48 0.03 33.58 22.74 0.00 1.44 2.64 1.43 0.31 0.05

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.70 7.50 2.00 15.00 22.40 294.40 18.64 0.02 1.08 4.50 0.63 1.02 1.73
dm-0 0.00 0.00 0.00 2.10 0.00 16.80 8.00 0.00 0.81 0.00 0.81 0.19 0.04
dm-1 0.00 0.00 2.20 0.00 17.60 0.00 8.00 0.01 4.50 4.50 0.00 2.64 0.58
dm-2 0.00 0.00 0.30 18.30 2.40 256.00 13.89 0.01 0.81 9.00 0.67 0.55 1.03
dm-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 1.60 0.00 16.00 10.00 0.00 0.38 0.00 0.38 0.19 0.03

^C
[oradev@develop ~]$ iostat -xd 10
Linux 4.1.12-124.16.4.el6uek.x86_64 (develop.china-fuhai.com) 2021年05月19日 x86_64 (32 CPU)

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.58 12.04 37.04 37.36 2309.57 1727.16 54.26 0.02 0.29 3.38 1.76 1.18 8.79
dm-0 0.00 0.00 0.17 2.76 16.58 38.47 18.79 0.00 1.30 3.13 1.18 0.38 0.11
dm-1 0.00 0.00 1.74 1.72 13.93 13.79 8.00 0.03 7.84 5.52 10.19 1.96 0.68
dm-2 0.00 0.00 35.81 43.45 2279.02 1641.31 49.46 0.05 0.67 3.34 2.36 1.03 8.16
dm-3 0.00 0.00 0.00 0.00 0.01 0.01 9.21 0.00 3.38 3.76 3.19 1.32 0.00
dm-4 0.00 0.00 0.00 1.48 0.03 33.58 22.74 0.00 1.44 2.64 1.43 0.31 0.05

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 7.90 0.60 11.30 4.80 414.40 35.23 0.05 3.85 3.17 3.88 3.44 4.09
dm-0 0.00 0.00 0.00 4.80 0.00 219.20 45.67 0.01 1.81 0.00 1.81 0.27 0.13
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.60 13.60 4.80 184.80 13.35 0.04 3.03 3.17 3.02 2.77 3.93
dm-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 0.80 0.00 10.40 13.00 0.00 0.88 0.00 0.88 0.37 0.03

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 7.00 0.40 16.40 4.00 284.80 17.19 0.03 1.49 0.25 1.52 0.50 0.84
dm-0 0.00 0.00 0.00 2.20 0.00 17.60 8.00 0.00 0.50 0.00 0.50 0.50 0.11
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.40 19.90 4.00 253.60 12.69 0.03 1.26 0.25 1.28 0.24 0.48
dm-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 1.30 0.00 13.60 10.46 0.01 4.77 0.00 4.77 1.92 0.25

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 12.50 2.10 17.70 23.20 335.20 18.10 0.02 1.02 2.71 0.82 0.87 1.72
dm-0 0.00 0.00 0.00 1.50 0.00 12.00 8.00 0.00 0.87 0.00 0.87 0.13 0.02
dm-1 0.00 0.00 0.00 6.80 0.00 54.40 8.00 0.01 2.19 0.00 2.19 0.44 0.30
dm-2 0.00 0.00 2.10 20.30 23.20 252.80 12.32 0.02 0.96 2.71 0.77 0.63 1.40
dm-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 1.60 0.00 16.00 10.00 0.00 0.38 0.00 0.38 0.19 0.03

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 6.80 1.00 12.20 10.40 234.40 18.55 0.01 0.77 2.90 0.60 0.61 0.80
dm-0 0.00 0.00 0.00 3.90 0.00 31.20 8.00 0.00 0.64 0.00 0.64 0.10 0.04
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 1.00 13.60 10.40 186.40 13.48 0.01 0.90 2.90 0.75 0.51 0.75
dm-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 1.50 0.00 16.80 11.20 0.00 0.13 0.00 0.13 0.13 0.02

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 8.00 0.40 14.60 3.20 284.80 19.20 0.02 1.05 8.75 0.84 0.69 1.03
dm-0 0.00 0.00 0.00 2.80 0.00 48.00 17.14 0.00 0.50 0.00 0.50 0.14 0.04
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.40 19.20 3.20 231.20 11.96 0.02 0.99 8.75 0.83 0.51 0.99
dm-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 0.60 0.00 5.60 9.33 0.00 0.17 0.00 0.17 0.17 0.01

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 5.10 0.90 21.10 9.60 363.20 16.95 0.02 0.90 6.44 0.66 0.63 1.39
dm-0 0.00 0.00 0.00 1.40 0.00 11.20 8.00 0.00 0.21 0.00 0.21 0.21 0.03
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.90 23.60 9.60 339.20 14.24 0.02 0.94 6.56 0.73 0.56 1.36
dm-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

---

实时查看哪些设备在读写活动上被阻止住了
查看哪些具有较高的r/s w/s次数的设备 要确定I/O是否异常高，就必须将这个I/O率与存储子系统的最高I/O率进行比较
I/O接近100% 表明I/O是一个瓶颈

archive2_24179_1010350577.dbf

估算存储系统的I/O率
[root@develop data]# time dd if=/u01/erpdevelop/db/apps_st/data/archive2_24179_1010350577.dbf of=test.out
记录了831901+0 的读入
记录了831901+0 的写出
425933312字节(426 MB)已复制，5.20969 秒，81.8 MB/秒

real 0m5.265s
user 0m0.557s
sys 0m2.963s

估算读取速率
[root@develop data]# time dd if=/u01/erpdevelop/db/apps_st/data/archive2_24179_1010350577.dbf of=/dev/null
记录了831901+0 的读入
记录了831901+0 的写出
425933312字节(426 MB)已复制，1.80073 秒，237 MB/秒

real 0m1.803s
user 0m0.555s
sys 0m1.248s

每三秒显示一次设备统计信息报告
[root@develop ~]# iostat -d 3
Linux 4.1.12-124.16.4.el6uek.x86_64 (develop.china-fuhai.com) 2021年05月25日 x86_64 (32 CPU)

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 74.27 2301.19 1720.75 59699584136 44641393592
dm-0 2.93 16.34 38.49 424027458 998502152
dm-1 3.45 13.86 13.77 359597296 357329072
dm-2 79.14 2270.94 1635.23 58915010602 42422737648
dm-3 0.00 0.01 0.01 206082 355488
dm-4 1.48 0.03 33.24 721426 862469168

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 17.67 40.00 205.33 120 616
dm-0 4.33 0.00 34.67 0 104
dm-1 0.00 0.00 0.00 0 0
dm-2 16.33 40.00 170.67 120 512
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 22.67 58.67 317.33 176 952
dm-0 5.33 0.00 42.67 0 128
dm-1 0.00 0.00 0.00 0 0
dm-2 30.33 58.67 264.00 176 792
dm-3 0.00 0.00 0.00 0 0
dm-4 1.33 0.00 10.67 0 32

iostat 每两秒钟报告一次 总共报告15次
[root@develop ~]# iostat 2 15
Linux 4.1.12-124.16.4.el6uek.x86_64 (develop.china-fuhai.com) 2021年05月25日 x86_64 (32 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle
10.28 0.00 3.14 0.39 0.00 86.19

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 74.27 2301.18 1720.75 59699591072 44641437984
dm-0 2.93 16.34 38.49 424027458 998504088
dm-1 3.45 13.86 13.77 359597336 357329072
dm-2 79.14 2270.94 1635.23 58915017498 42422778744
dm-3 0.00 0.01 0.01 206082 355488
dm-4 1.48 0.03 33.24 721426 862470528

avg-cpu: %user %nice %system %iowait %steal %idle
0.27 0.00 0.06 0.03 0.00 99.64

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 2.50 0.00 60.00 0 120
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 2.50 0.00 60.00 0 120
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
1.36 0.00 0.44 0.06 0.00 98.14

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 18.00 28.00 312.00 56 624
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 28.00 28.00 260.00 56 520
dm-3 0.00 0.00 0.00 0 0
dm-4 5.00 0.00 52.00 0 104

avg-cpu: %user %nice %system %iowait %steal %idle
4.74 0.00 1.06 0.05 0.00 94.15

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 12.00 20.00 148.00 40 296
dm-0 0.50 0.00 4.00 0 8
dm-1 0.00 0.00 0.00 0 0
dm-2 11.50 20.00 144.00 40 288
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
4.85 0.00 0.27 0.05 0.00 94.84

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 9.00 0.00 584.00 0 1168
dm-0 0.50 0.00 4.00 0 8
dm-1 0.00 0.00 0.00 0 0
dm-2 6.50 0.00 132.00 0 264
dm-3 0.00 0.00 0.00 0 0
dm-4 4.50 0.00 448.00 0 896

avg-cpu: %user %nice %system %iowait %steal %idle
3.77 0.00 0.59 0.09 0.00 95.54

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 16.50 32.00 384.00 64 768
dm-0 5.50 0.00 44.00 0 88
dm-1 0.00 0.00 0.00 0 0
dm-2 28.50 32.00 340.00 64 680
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
3.20 0.00 0.03 0.06 0.00 96.70

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 25.50 0.00 860.00 0 1720
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 25.50 0.00 860.00 0 1720
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
1.50 0.00 1.00 0.17 0.00 97.33

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 80.50 104.00 2204.00 208 4408
dm-0 6.00 0.00 48.00 0 96
dm-1 0.00 0.00 0.00 0 0
dm-2 96.00 104.00 2116.00 208 4232
dm-3 0.00 0.00 0.00 0 0
dm-4 4.00 0.00 40.00 0 80

avg-cpu: %user %nice %system %iowait %steal %idle
0.86 0.00 0.50 0.08 0.00 98.56

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 15.00 12.00 316.00 24 632
dm-0 1.00 0.00 8.00 0 16
dm-1 0.00 0.00 0.00 0 0
dm-2 14.00 12.00 308.00 24 616
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.50 0.00 0.53 0.05 0.00 98.92

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 10.50 20.00 108.00 40 216
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 7.50 20.00 64.00 40 128
dm-3 0.00 0.00 0.00 0 0
dm-4 4.00 0.00 44.00 0 88

avg-cpu: %user %nice %system %iowait %steal %idle
3.38 0.00 1.58 0.08 0.00 94.97

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 20.00 20.00 500.00 40 1000
dm-0 6.50 0.00 52.00 0 104
dm-1 0.00 0.00 0.00 0 0
dm-2 32.50 20.00 448.00 40 896
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
3.63 0.00 1.05 0.08 0.00 95.25

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 18.00 52.00 188.00 104 376
dm-0 1.50 0.00 12.00 0 24
dm-1 0.00 0.00 0.00 0 0
dm-2 16.50 52.00 176.00 104 352
dm-3 0.00 0.00 0.00 0 0
dm-4 3.00 0.00 24.00 0 48

avg-cpu: %user %nice %system %iowait %steal %idle
3.06 0.00 0.23 0.03 0.00 96.67

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 9.00 0.00 236.00 0 472
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 21.50 0.00 200.00 0 400
dm-3 0.00 0.00 0.00 0 0
dm-4 1.50 0.00 12.00 0 24

avg-cpu: %user %nice %system %iowait %steal %idle
0.50 0.00 0.20 0.06 0.00 99.23

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 13.00 24.00 180.00 48 360
dm-0 5.50 0.00 44.00 0 88
dm-1 0.00 0.00 0.00 0 0
dm-2 12.00 24.00 136.00 48 272
dm-3 0.00 0.00 0.00 0 0
dm-4 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.94 0.00 0.98 0.05 0.00 98.03

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 12.00 24.00 140.00 48 280
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 11.00 24.00 128.00 48 256
dm-3 0.00 0.00 0.00 0 0
dm-4 1.00 0.00 12.00 0 24

---

watch 命令在需要显示每次屏幕刷新之后，输出发生变化时特别有用

在使用本地磁盘时，iostat命令的输出能够清晰地显示出什么时候进行了I/O
但是在使用外部阵列来进行存储时，就不是那么清晰了
在文件系统增所呈现的是某种可能也是通过卷管理器来配置的虚拟磁盘

AWR 、statspack 、v$视图来确定数据库是否存在I/O压力

显示当前数据库中正在等待I/O资源的会话，查询数据字典。
select A.USERNAME, A.SQL_ID, B.OBJECT_NAME, B.OBJECT_TYPE, A.EVENT
from v$sessiona,db{a}_{o}bjectsb,v$event_name c
where b.OBJECT_ID = a.ROW_WAIT_OBJ#
and a.EVENT = c.NAME
and c.WAIT_CLASS = ‘User I/O’