linux系统cpu、内存、磁盘IO异常查询方式汇总_top wa

3.3、top命令进入后输入M按内存使用排序，可以找到占用内存较高进程。

4、IO使用情况定位

4.1、top查询wa的使用情况，查看io占用cpu是否较高。

4.2、iostat -x 2 5查看各磁盘的%util情况，越高说明磁盘对应的io越高。

[serviceop@SZA-L0016461 ~]$ iostat -x 2 5
Linux 2.6.32-573.el6.x86_64 (SZA-L0016461)  2017年04月27日  _x86_64_ (2 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.38    0.00    1.85    0.05    0.00   96.72

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.05     6.58    0.12    3.43     8.17    80.10    24.84     0.00    1.39   0.59   0.21
dm-0              0.00     0.00    0.14    7.67     7.66    61.39     8.84     0.04    4.54   0.15   0.12
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     8.00     0.00    0.46   0.42   0.00
dm-2              0.00     0.00    0.03    0.56     0.35     4.51     8.24     0.00    7.06   0.11   0.01
dm-3              0.00     0.00    0.00    0.52     0.15     4.15     8.22     0.00    1.91   0.43   0.02
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     2.57     0.00    1.89   1.45   0.00
dm-5              0.00     0.00    0.00    1.26     0.00    10.05     8.00     0.00    1.16   0.56   0.07
sdb               0.00     2.55    0.10    0.66    16.00    25.79    55.24     0.00    3.06   1.19   0.09
dm-6              0.00     0.00    0.10    3.22    16.00    25.79    12.62     0.08   22.76   0.27   0.09

4.3、iotop直接查看IO较高的进程号，当iotop命令不可以用时使用for x in seq 1 1 10; do ps -eo state,pid,cmd | grep “^D”; echo “----”; sleep 5; done查询IO等待的对应进程

# for x in seq 1 1 10; do ps -eo state,pid,cmd | grep “^D”; echo “----”; sleep 5; done
D 248 [jbd2/dm-0-8]
D 16528 bonnie++ -n 0 -u 0 -r 239 -s 478 -f -b -d /tmp

4.4、cat /proc/pid/io查看对应进程使用的io情况

cat /proc/16528/io

rchar: 48752567
wchar: 549961789
syscr: 5967
syscw: 67138
read_bytes: 49020928
write_bytes: 549961728
cancelled_write_bytes: 0

4.5、lsof -p pid 或 ls /proc/pid/fd查看对应的应用目录

lsof -p 16528

COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAME
bonnie++ 16528 rootcwdDIR 252,0 4096 130597 /tmp

bonnie++ 16528 root 8u REG 252,0 501219328 131869 /tmp/Bonnie.16528
bonnie++ 16528 root 9u REG 252,0 501219328 131869 /tmp/Bonnie.16528
bonnie++ 16528 root 10u REG 252,0 501219328 131869 /tmp/Bonnie.16528
bonnie++ 16528 root 11u REG 252,0 501219328 131869 /tmp/Bonnie.16528
bonnie++ 16528 root 12u REG 252,0 501219328 131869 /tmp/Bonnie.16528

4.5、fd /tmp查看对应的卷名

df /tmp

Filesystem 1K-blocksUsedAvailableUse% Mountedon
/dev/mapper/workstation-root 7667140 2628608 4653920 37% /

4.6、是fdisk -l 或pvdisplay 查看对应的磁盘，来确认是否与io高的磁盘一致。

业务级IO监控

ioprofile

ioprofile 命令本质上是 lsof + strace, 具体下载可见 http://code.google.com/p/maatkit/

ioprofile 可以回答你以下三个问题:

1  当前进程某时间内,在业务层面读写了哪些文件(read, write)？

2  读写次数是多少?(read, write的调用次数)

3  读写数据量多少?(read, write的byte数)

假设某个行为会触发程序一次IO动作,例如: “一个页面点击,导致后台读取A,B,C文件”

============================================

./io_event   # 假设模拟一次IO行为,读取A文件一次, B文件500次, C文件500次

ioprofile  -p  pidof  io\_event -c count   # 读写次数

ioprofile  -p  pidof  io\_event -c times   # 读写耗时

ioprofile  -p  pidof  io\_event -c sizes    # 读写大小

iotop 和 pidstat (仅rhel6u系列)

iotop    顾名思义, io版的top

pidstat 顾名思义, 统计进程(pid)的stat,进程的stat自然包括进程的IO状况

这两个命令,都可以按进程统计IO状况,因此可以回答你以下二个问题

1. 1. 当前系统哪些进程在占用IO,百分比是多少?
   2. 占用IO的进程是在读?还是在写?读写量是多少?

pidstat 参数很多,仅给出几个个人习惯

pidstat -d  1                  #只显示IO

pidstat -u -r -d -t 1        # -d IO 信息,

# -r 缺页及内存信息
                                           # -u CPU使用率
                                           # -t 以线程为统计单位
                                           # 1  1秒统计一次

block_dump, iodump

iotop   和 pidstat 用着很爽,但两者都依赖于/proc/pid/io文件导出的统计信息, 这个对于老一些的内核是没有的,比如rhel5u2

因此只好用以上2个穷人版命令来替代:

echo 1 > /proc/sys/vm/block_dump     # 开启block_dump,此时会把io信息输入到dmesg中

# 源码: submit_bio@ll_rw_blk.c:3213

watch -n 1 “dmesg -c | grep -oP “\w+(\d+): (WRITE|READ)” | sort | uniq -c”

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
加入社区》https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0
geyRx-1725708030424)]
[外链图片转存中…(img-ej7BYhNG-1725708030425)]

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
加入社区》https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0