Linux 性能分析工具(vmstat,iostat,sar)

转载 2013年12月05日 09:54:19

Linux 性能分析工具(vmstat,iostat,sar)

. /proc/partitions iostat 的数据的主要来源是 /proc/partitions,所以需要先看看/proc/partitions 中有些什么。# cat /proc/partitions major minor #blocks name rio rmerge rsect ruse wiowmerge wsect wuse running use aveq 3 0 19535040 hda 1252

1. /proc/partitions

 

iostat 的数据的主要来源是/proc/partitions,所以需要先看看

 

/proc/partitions 中有些什么。

 

# cat /proc/partitions

 

major minor #blocks name rio rmerge rsect ruse wio wmergewsect wuse running use aveq

 

3 0 19535040 hda 12524 31127 344371 344360 12941 25534 3084341097290 -1 15800720 28214662

 

3 1 7172991 hda1 13 71 168 140 0 0 0 0 0 140 140

 

3 2 1 hda2 0 0 0 0 0 0 0 0 0 0 0

 

3 5 5116671 hda5 100 477 665 620 1 1 2 30 0 610 650

 

3 6 265041 hda6 518 92 4616 2770 257 3375 29056 143880 046520 146650

 

3 7 6980211 hda7 11889 30475 338890 340740 12683 22158279376 953380 0 509350 1294120

 

major:   主设备号。3 代表 hda

 

minor:   次设备号。7 代表 No.7 分区。

 

#blocks: 设备总块数(1024 bytes/block)19535040*1024=> 20003880960(bytes) ~2G

 

name:   设备名称。如hda7

 

rio: 完成的读I/O 设备总次数。指真正向I/O 设备发起并完成的读操作数目,

 

   也就是那些放到 I/O 队列中的读请求。注意很多进程发起的读操作

 

   (read())很可能会和其他的操作进行merge,不一定每个read() 调用

 

   都引起一个 I/O 请求。

 

rmerge: 进行了merge 的读操作数目。

 

rsect: 读扇区总数(512 bytes/sector)

 

ruse: 从进入读队列到读操作完成的时间累积(毫秒)。上面的例子显示从开机

 

开始,读hda7 操作共用了约340秒。

 

wio:   完成的写 I/O设备总次数。

 

wmerge:   进行了merge 的写操作数目。

 

wsect:   写扇区总数

 

wuse:   从进入写队列到写操作完成的时间累积(毫秒)

 

running: 已进入I/O 请求队列,等待进行设备操作的请求总数。上面的例子显

 

   hda7 上的请求队列长度为 0

 

use:   扣除重叠等待时间的净等待时间(毫秒)。一般比(ruse+wuse) 要小。比

 

   5 个读请求同时等待了 1 毫秒,那么 ruse值为5ms, use值为

 

   1msuse 也可以理解为I/O队列处于不为空状态的总时间。hda7I/O

 

   队列非空时间为 509 秒,约合8分半钟。

 

 

 

aveq:   在队列中总的等待时间累积(毫秒)(约等于ruse+wuse)

 

 

 

2. iostat 结果解析

 

# iostat -x

 

Linux 2.4.21-9.30AX (localhost) 20040714

 

avg-cpu: %user %nice %sys %idle

 

3.85 0.00 0.95 95.20

 

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/savgrq-sz avgqu-sz await svctm %util

 

/dev/hda 1.70 1.70 0.82 0.82 19.88 20.22 9.94 10.11 24.5011.83 57.81 610.76 99.96

 

/dev/hda1 0.00 0.00 0.00 0.00 0.01 0.00 0.00 0.00 12.92 0.0010.77 10.77 0.00

 

/dev/hda5 0.02 0.00 0.00 0.00 0.03 0.00 0.02 0.00 6.60 0.006.44 6.04 0.00

 

/dev/hda6 0.01 0.38 0.05 0.03 0.43 3.25 0.21 1.62 46.90 0.15193.96 52.25 0.41

 

/dev/hda7 1.66 1.33 0.76 0.79 19.41 16.97 9.70 8.49 23.440.79 51.13 19.79 3.07

 

rrqm/s:   每秒进行merge 的读操作数目。即delta(rmerge)/s

 

wrqm/s: 每秒进行merge 的写操作数目。即delta(wmerge)/s

 

r/s:   每秒完成的读I/O 设备次数。即delta(rio)/s

 

w/s:   每秒完成的写I/O 设备次数。即delta(wio)/s

 

rsec/s:   每秒读扇区数。即delta(rsect)/s

 

wsec/s:   每秒写扇区数。即delta(wsect)/s

 

rkB/s:   每秒读K字节数。是rsect/s 的一半,因为每扇区大小为512字节。

 

wkB/s:   每秒写K字节数。是wsect/s 的一半。

 

avgrq-sz: 平均每次设备I/O操作的数据大小(扇区)。即delta(rsect+wsect)/delta(rio+wio)

 

avgqu-sz: 平均I/O队列长度。即delta(aveq)/s/1000 (因为aveq的单位为毫秒)

 

await:   平均每次设备I/O操作的等待时间(毫秒)。即delta(ruse+wuse)/delta(rio+wio)

 

svctm:   平均每次设备I/O操作的服务时间(毫秒)。即delta(use)/delta(rio+wio)

 

%util:   一秒中有百分之多少的时间用于I/O 操作,或者说一秒中有多少时间I/O 队列是非空的。

 

   delta(use)/s/1000 (因为use的单位为毫秒)

 

如果%util 接近100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘

 

可能存在瓶颈。

 

svctm 一般要小于await (因为同时等待的请求的等待时间被重复计算了)

 

svctm 的大小一般和磁盘性能有关,CPU/内存的负荷也会对其有影响,请求过多

 

也会间接导致svctm 的增加。await的大小一般取决于服务时间(svctm)以及

 

I/O 队列的长度和I/O 请求的发出模式。如果svctm 比较接近await,说明

 

I/O 几乎没有等待时间;如果await 远大于svctm,说明I/O 队列太长,应用

 

得到的响应时间变慢,如果响应时间超过了用户可以容许的范围,这时可以考虑

 

更换更快的磁盘,调整内核elevator 算法,优化应用,或者升级CPU

 

队列长度(avgqu-sz)也可作为衡量系统I/O 负荷的指标,但由于avgqu-sz

 

按照单位时间的平均值,所以不能反映瞬间的I/O 洪水。

 

 

 

3. I/O 系统vs. 超市排队

 

举一个例子,我们在超市排队checkout 时,怎么决定该去哪个交款台呢?首当

 

是看排的队人数,5个人总比20人要快吧? 除了数人头,我们也常常看看前面人

 

购买的东西多少,如果前面有个采购了一星期食品的大妈,那么可以考虑换个队

 

排了。还有就是收银员的速度了,如果碰上了连钱都点不清楚的新手,那就有的

 

等了。另外,时机也很重要,可能5 分钟前还人满为患的收款台,现在已是人

 

去楼空,这时候交款可是很爽啊,当然,前提是那过去的5 分钟里所做的事情

 

比排队要有意义(不过我还没发现什么事情比排队还无聊的)

 

I/O 系统也和超市排队有很多类似之处:

 

   r/s+w/s 类似于交款人的总数

 

   平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数

 

   平均服务时间(svctm)类似于收银员的收款速度

 

   平均等待时间(await)类似于平均每人的等待时间

 

   平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少

 

   I/O 操作率(%util)类似于收款台前有人排队的时间比例。

 

 

 

我们可以根据这些数据分析出I/O 请求的模式,以及I/O 的速度和响应时间。

 

 

 

4. 一个例子

 

# iostat -x 1

 

avg-cpu: %user %nice %sys %idle

 

16.24 0.

 

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/savgrq-sz avgqu-sz await svctm %util

 

/dev/cciss/c0d0

 

0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.3578.21 5.00 14.29

 

/dev/cciss/c0d0p1

 

0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.3578.21 5.00 14.29

 

/dev/cciss/c0d0p2

 

0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.000.00

 

上面的iostat 输出表明秒有28.57 次设备I/O 操作:delta(io)/s = r/s +

 

w/s = 1.02+27.55 = 28.57 (/) 其中写操作占了主体 (w:r = 27:1)

 

平均每次设备I/O 操作只需要5ms 就可以完成,但每个I/O 请求却需要等上

 

78ms,为什么?因为发出的I/O 请求太多(每秒钟约29 ),假设这些请求是

 

同时发出的,那么平均等待时间可以这样计算:

 

   平均等待时间 = 单个 I/O 服务时间 * ( 1 + 2 + + 请求总数-1)/ 请求总数

 

应用到上面的例子:平均等待时间= 5ms * (1+2++28)/29= 70ms,和

 

iostat 给出的78ms 的平均等待时间很接近。这反过来表明I/O 是同时发起的。

 

每秒发出的I/O 请求很多(29 ),平均队列却不长(只有2 个左右)

 

这表明这29 个请求的到来并不均匀,大部分时间I/O 是空闲的。

 

一秒中有14.29% 的时间 I/O 队列中是有请求的,也就是说,85.71%的时间里

 

I/O 系统无事可做,所有29 I/O 请求都在142毫秒之内处理掉了。

 

delta(ruse+wuse)/delta(io) = await = 78.21 =>delta(ruse+wuse)/s =

 

78.21 * delta(io)/s = 78.21*28.57 = 2232.8,表明每秒内的I/O请求总共需

 

要等待2232.8ms。所以平均队列长度应为2232.8ms/1000ms = 2.23,而iostat

 

给出的平均队列长度(avgqu-sz) 却为22.35,为什么?!因为iostat 中有

 

bugavgqu-sz值应为2.23,而不是22.35

 

vmstat监视内存使用情况

 

vmstatVirtualMeomory Statistics(虚拟内存统计)的缩写,可对操作系统的虚拟内存、进程、CPU活动进行监视。它是对系统的整体情况进行统计,不足之处是无法对某个进程进行深入分析。

 

vmstat的语法如下:

 

程序代码

 

vmstat [-V] [-n] [delay [count]]

 

procs memory page disk faults cpu r b w swap free re mf mipo fr de sr f0 s0 s1 s2 in sy cs us sy id 0 0 0 14888 19120 0 4 2 11 10 0 0 0 00 8 198 2158 98 11 19 69 SWAP的单位应该是K,不是M。还有两个比较重要的参数是PIPO,表示内存的调入、调出页面,单位也是K,但是多大值作为一个衡量标准,我也不清楚,不知道是否有经验值。还有,最好使用vmstatt [n]命令,例如vmstat 5 5,表示在T5)秒时间内进行N5)次采样。如果只使用vmstat,无法反映真正的系统情况,试一下,看看结果就知道了。procs: r>在运行队列中等待的进程数b>在等待io的进程数 w>可以进入运行队列但被替换的进程memoy swap>现时可用的交换内存(k表示) free>空闲的内存(k表示)pages re--》回收的页面mf--》非严重错误的页面pi--》进入页面数(k表示) po--》出页面数(k表示) fr--》空余的页面数(k表示) de--》提前读入的页面中的未命中数sr--》通过时钟算法扫描的页面disk 显示每秒的磁盘操作。s表示scsi盘,0表示盘号fault 显示每秒的中断数in--》设备中断sy--》系统中断cy--》cpu交换 cpu 表示cpu的使用状态 cs--》用户进程使用的时间sy--》系统进程使用的时间id--》cpu空闲的时间解释:如果r经常大于4 ,且id经常少于40,表示cpu的负荷很重。如果pipo 长期不等于0,表示内存不足。如果disk经常不等于0,且在b中的队列大于3,表示io性能不好。

 

在使用UNIX操作系统的过程中,我们常常会用到各种各样的问题,比如系统运行速度突然变慢,系统容易死机或者主机所带的终端常出现死机,这时我们常常猜测,是硬盘空间太小,还是内存不足?I/O出现瓶颈,或者是系统的核心参数出了问题?这时,我们应该考虑使用系统给我们提供的sar命令来对系统作一个了解,该命令是系统维护的重要工具,主要帮助我们掌握系统资源的使用情况,特别是内存和CPU的使用情况,是UNIX系统使用者应该掌握的工具之一。sar 命令行的常用格式:

 

sar [options] [-A] [-o file] t [n]

 

在命令行中,nt两个参数组合起来定义采样间隔和次数,t为采样间隔,是必须有的参数,n为采样次数,是可选的,默认值是1-o file表示将命令结果以二进制格式存放在文件中,file在此处不是关键字,是文件名。options为命令行选项,sar命令的选项很多,下面只列出常用选项:

 

      -A:所有报告的总和。-uCPU利用率 -v:进程、I节点、文件和锁表状态。-d:硬盘使用报告。-r:没有使用的内存页面和硬盘块。-g:串口I/O的情况。 -b:缓冲区使用情况。-a:文件读写情况。-c:系统调用情况。-R:进程的活动情况。-y:终端设备活动情况。-w:系统交换活动。

 

下面将举例说明。

 

例一:使用命令行sar -u t n

 

例如,每60秒采样一次,连续采样5次,观察CPU 的使用情况,并将采样结果以二进制形式存入当前目录下的文件zhou中,需键入如下命令:

 

# sar -u -o zhou 60 5

 

屏幕显示:

 

  SCO_SV   scosysv 3.2v5.0.5 i80386   10/01/200114:43:50   %usr   %sys  %wio    %idle(-u)14:44:50   0     1    4      9414:45:50   0     2    4      9314:46:50   0     2    2      9614:47:50   0     2    5      9314:48:50   0     2    2      96Average   0     2    4      94

 

在显示内容包括:

 

  %usrCPU处在用户模式下的时间百分比。%sysCPU处在系统模式下的时间百分比。%wioCPU等待输入输出完成时间的百分比。%idleCPU空闲时间百分比。

 

在所有的显示中,我们应主要注意%wio%idle%wio的值过高,表示硬盘存在I/O瓶颈,%idle值高,表示CPU较空闲,如果%idle值高但系统响应慢时,有可能是CPU等待分配内存,此时应加大内存容量。%idle值如果持续低于10,那么系统的CPU处理能力相对较低,表明系统中最需要解决的资源是CPU

 

如果要查看二进制文件zhou中的内容,则需键入如下sar命令:

 

    #sar -u -f zhou

 

可见,sar命令即可以实时采样,又可以对以往的采样结果进行查询。

 

例二:使用命行sar-v t n

 

例如,每30秒采样一次,连续采样5次,观察核心表的状态,需键入如下命令:

 

# sar -v 30 5

 

屏幕显示:SCO_SV scosysv 3.2v5.0.5 i80386 10/01/2001 10:33:23 proc-sz ov inod-sz ovfile-sz ov lock-sz  (-v) 10:33:53 305/ 321  0 1337/2764  0 1561/1706 0 40/ 12810:34:23 308/ 321  0 1340/2764  0 1587/1706 0 37/ 12810:34:53 305/ 321  0 1332/2764  0 1565/1706 0 36/ 12810:35:23 308/ 321  0 1338/2764  0 1592/1706 0 37/ 12810:35:53 308/ 321  0 1335/2764  0 1591/1706 0 37/ 128

 

显示内容包括:

 

proc-sz:目前核心中正在使用或分配的进程表的表项数,由核心参数MAX-PROC控制。

 

  inod-sz:目前核心中正在使用或分配的i节点表的表项数,由核心参数MAX-INODE控制。

 

  file-sz:目前核心中正在使用或分配的文件表的表项数,由核心参数MAX-FILE控制。

 

  ov:溢出出现的次数。

 

  Lock-sz:目前核心中正在使用或分配的记录加锁的表项数,由核心参数MAX-FLCKRE控制。

 

显示格式为

 

实际使用表项/可以使用的表项数

 

显示内容表示,核心使用完全正常,三个表没有出现溢出现象,核心参数不需调整,如果出现溢出时,要调整相应的核心参数,将对应的表项数加大。

 

例三:使用命行sar-d t n

 

例如,每30秒采样一次,连续采样5次,报告设备使用情况,需键入如下命令:

 

# sar -d 30 5

 

屏幕显示:

 

      SCO_SVscosysv 3.2v5.0.5 i80386 10/01/2001 11:06:43 device %busy   avque   r+w/s  blks/s  avwait avserv (-d) 11:07:13wd-0   1.47   2.75   4.67   14.73   5.503.14 11:07:43 wd-0   0.43   18.77   3.07   8.66   25.111.41 11:08:13 wd-0   0.77   2.78   2.77   7.26   4.942.77 11:08:43 wd-0   1.10   11.18   4.10   11.26   27.322.68 11:09:13 wd-0   1.97   21.78   5.86   34.06   69.663.35 Average wd-0   1.15   12.11   4.09   15.19   31.122.80

 

显示内容包括:

 

devicesar命令正在监视的块设备的名字。%busy:设备忙时,传送请求所占时间的百分比。avque:队列站满时,未完成请求数量的平均值。r+w/s:每秒传送到设备或从设备传出的数据量。blks/s:每秒传送的块数,每块512字节。avwait:队列占满时传送请求等待队列空闲的平均时间。avserv:完成传送请求所需平均时间(毫秒)。

 

在显示的内容中,wd-0是硬盘的名字,%busy的值比较小,说明用于处理传送请求的有效时间太少,文件系统效率不高,一般来讲,%busy值高些,avque值低些,文件系统的效率比较高,如果%busyavque值相对比较高,说明硬盘传输速度太慢,需调整。

 

例四:使用命行sar-b t n

 

例如,每30秒采样一次,连续采样5次,报告缓冲区的使用情况,需键入如下命令:

 

# sar -b 30 5

 

屏幕显示:

 

  SCO_SVscosysv 3.2v5.0.5 i80386 10/01/2001 14:54:59 bread/s lread/s %rcache bwrit/slwrit/s %wcache pread/s pwrit/s (-b) 14:55:29 0  147  100  5  21  78   0   0 14:55:59 0  186  100  5  25  79   0   0 14:56:29 4  232   98  8  58  86   0   0 14:56:59 0  125  100  5  23  76   0   0 14:57:29 0   89  100  4  12  66   0   0 Average  1  156   99  5  28  80   0   0

 

显示内容包括:

 

bread/s:每秒从硬盘读入系统缓冲区buffer的物理块数。lread/s:平均每秒从系统buffer读出的逻辑块数。%rcache:在buffercache中进行逻辑读的百分比。bwrit/s:平均每秒从系统buffer向磁盘所写的物理块数。lwrit/s:平均每秒写到系统buffer逻辑块数。%wcache:在buffercache中进行逻辑读的百分比。pread/s:平均每秒请求物理读的次数。pwrit/s:平均每秒请求物理写的次数。

 

在显示的内容中,最重要的是%cache%wcache两列,它们的值体现着buffer的使用效率,%rcache的值小于90或者%wcache的值低于65,应适当增加系统buffer的数量,buffer数量由核心参数NBUF控制,使%rcache达到90左右,%wcache达到80左右。但buffer参数值的多少影响I/O效率,增加buffer,应在较大内存的情况下,否则系统效率反而得不到提高。

 

例五:使用命行sar-g t n

 

例如,每30秒采样一次,连续采样5次,报告串口I/O的操作情况,需键入如下命令:

 

# sar -g 30 5

 

屏幕显示:

 

SCO_SV scosysv 3.2v5.0.5 i80386  11/22/2001 17:07:03  ovsiohw/s ovsiodma/s  ovclist/s(-g) 17:07:33   0.00   0.00   0.0017:08:03   0.00   0.00   0.0017:08:33   0.00   0.00   0.0017:09:03   0.00   0.00   0.0017:09:33   0.00   0.00   0.00Average    0.00   0.00   0.00

 

显示内容包括:

 

ovsiohw/s:每秒在串口I/O硬件出现的溢出。

 

ovsiodma/s:每秒在串口I/O的直接输入输出通道高速缓存出现的溢出。

 

ovclist/s :每秒字符队列出现的溢出。

 

在显示的内容中,每一列的值都是零,表明在采样时间内,系统中没有发生串口I/O溢出现象。

 

sar命令的用法很多,有时判断一个问题,需要几个sar命令结合起来使用,比如,怀疑

 

CPU存在瓶颈,可用sar-u sar-q来看,怀疑I/O存在瓶颈,可用sar-bsar-u

 

sar-d来看,以上举出的五例仅仅是其中的一部分,有兴趣的朋友不妨一试。

 

 

相关文章推荐

linux性能分析工具sar,iostat,vmstat

linux性能分析工具sar,iostat,vmstat yum install sysstat//安装sar sar [options] [-A] [-o file] t [n] 在命令行中,...

十三个强大的Linux性能监测工具 uptime dmesg top iostat vmstat sar free ulimit mpstat

本文介绍了十三个常见的Linux性能监测工具,可以检测系统负载、硬件系统信息、进程状态、内存使用情况等一系列参数。针对每个工具,文章介绍了该工具的功能、使用方法以及输出样式,参考起来十分方便。 ...
  • jichl
  • jichl
  • 2012年09月17日 15:46
  • 3112

Java性能调优工具(一) Linux命令行工具(top sar vmstat iostat)

(1)top命令 第一部分     第一行:任务队列信息,等同于uptime命令     第二行:进程统计信息     第三行:CPU统计信息       us(用户空间CPU占用率)、sy(内...

linux查看CPU性能及工作状态的指令mpstat,vmstat,iostat,sar,top

衡量CPU性能的指标: 1,用户使用CPU的情况; CPU运行常规用户进程 CPU运行niced process CPU运行实时进程 2,系统使用CPU情况; 用于I/O管理:中断...

linux查看CPU性能及工作状态的指令mpstat,vmstat,iostat,sar,top

linux查看CPU性能及工作状态的指令mpstat,vmstat,iostat,sar,top衡量CPU性能的指标:1,用户使用CPU的情况;CPU运行常规用户进程CPU运行niced proces...

linux查看CPU性能及工作状态的指令mpstat,vmstat,iostat,sar,top

原文传送门 衡量CPU性能的指标: 1,用户使用CPU的情况; CPU运行常规用户进程 CPU运行niced process CPU运行实时进程 2,系统使用CPU情况; ...

常用性能分析工具之sar、iostat

 1)sar(system activity reporter):可以从多方面对系统的活动进行报告,包括:文件的读写情况、系统调用的使用情况、磁盘I/O、C PU效率   、内存使用状况、进程活...

linux vmstat\iostat\sar命令详解

vmstat: Procs   r: 等待运行的进程数 b: 处在非中断睡眠状态的进程数 w: 被交换出去的可运行的进程数。此数由 linux 计算得出,但 linux 并不耗尽交换空间 ...

Linux监控命令整理(top,free,vmstat,iostat,mpstat,sar,netstat)

1.1 top 1.1.1 命令说明 Top 命令能够实时监控系统的运行状态,并且可以按照cpu、内存和执行时间进行排序 1.1.2 参数说明 命令行启动参数: 用法: ...
  • hj7jay
  • hj7jay
  • 2017年02月24日 09:40
  • 391

Linux系统资源监控命令vmstat\mpstat\sar\iostat\top

Linux系统资源的命令: 衡量CPU性能的指标: 1,用户使用CPU的情况; CPU运行常规用户进程 CPU运行niced process CPU运行实时进程 2,系统使用CPU情况; ...
  • vebasan
  • vebasan
  • 2012年02月13日 12:01
  • 1280
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Linux 性能分析工具(vmstat,iostat,sar)
举报原因:
原因补充:

(最多只允许输入30个字)