Linux命令----分析CPU的瓶颈

转自  http://blog.csdn.net/tengh/article/details/12038337

衡量CPU性能的指标：

1，用户使用CPU的情况；
CPU运行常规用户进程
CPU运行niced process
CPU运行实时进程

2，系统使用CPU情况；
用于I/O管理：中断和驱动
用于内存管理：页面交换
用户进程管理：进程开始和上下文切换

3，WIO：用于进程等待磁盘I/O而使CPU处于空闲状态的比率。

4，CPU的空闲率，除了上面的WIO以外的空闲时间

5，CPU用于上下文交换的比率

6，nice

7，real-time

8，运行进程队列的长度

9，平均负载

Linux中常用的监控CPU整体性能的工具有：

 mpstat： mpstat不但能查看所有CPU的平均信息，还能查看指定CPU的信息。

 vmstat：只能查看所有CPU的平均信息；查看cpu队列信息；

 iostat:只能查看所有CPU的平均信息。

 sar： 与mpstat一样，不但能查看CPU的平均信息，还能查看指定CPU的信息。

top：显示的信息同ps接近，但是top可以了解到CPU消耗，可以根据用户指定的时间来更新显示。

下面一一介绍：

一，vmstat

[root@localhost ~]#vmstat -n3      (每个3秒刷新一次）
procs-----------memory--------------------swap------io---- --system---- ------cpu--------
r b  swpd  free     buff       cache     si   so   bi   bo   in    cs        us  sy   id wa
10   144 186164 105252 2386848   0   0    18  166  83    2         48   21 31  0
20   144 189620 105252 2386848   0   0    0  177  10391210  34   10 56  0
00   144 214324 105252 2386848   0   0    0   10   1071  670   32  5   63  0
00   144 202212 105252 2386848   0   0    0  189   1035  558   20  3    77 0
20   144 158772 105252 2386848   0   0    0  203  10652832   70  14  15 0

红色内容标示CPU相关的参数

PROC(ESSES)

--r:如果在processes中运行的序列(process  r)是连续的大于在系统中的CPU的个数表示系统现在运行比较慢,有多数的进程等待CPU.
如果r的输出数大于系统中可用CPU个数的4倍的话,则系统面临着CPU短缺的问题,或者是CPU的速率过低,系统中有多数的进程在等待CPU,造成系统中进程运行过慢.

SYSTEM
--in:每秒产生的中断次数
--cs:每秒产生的上下文切换次数
上面2个值越大，会看到由内核消耗的CPU时间会越大

 

CPU
-us:用户进程消耗的CPU时间百分
us的值比较高时，说明用户进程消耗的CPU时间多，但是如果长期超50%的使用，那么我们就该考虑优化程序算法或者进行加速（比如PHP/PERL）
-sy:内核进程消耗的CPU时间百分比（sy的值高时，说明系统内核消耗的CPU资源多，这并不是良性表现，我们应该检查原因）

-wa:IO等待消耗的CPU时间百分比
wa的值高时，说明IO等待比较严重，这可能由于磁盘大量作随机访问造成，也有可能磁盘出现瓶颈（块操作）。
-id:CPU处于空闲状态时间百分比,如果空闲时间(cpu  id)持续为0并且系统时间(cpu  sy)是用户时间的两倍(cpu  us)  系统则面临着CPU资源的短缺. 

  解决办法:
当发生以上问题的时候请先调整应用程序对CPU的占用情况.使得应用程序能够更有效的使用CPU.同时可以考虑增加更多的CPU.    关于CPU的使用情况还可以结合mpstat,    ps  aux  top    prstat  –a等等一些相应的命令来综合考虑关于具体的CPU的使用情况,和那些进程在占用大量的CPU时间.一般情况下，应用程序的问题会比较大一些.比如一些 SQL语句不合理等等都会造成这样的现象.

 

二，sar
sar[options] [-A] [-o file] t [n]

在命令行中，n 和t 两个参数组合起来定义采样间隔和次数，t为采样间隔，是必须有
的参数，n为采样次数，是可选的，默认值是1，-o file表示将命令结果以二进制格式
存放在文件中，file 在此处不是关键字，是文件名。options 为命令行选项，sar命令
的选项很多，下面只列出常用选项：

-A：所有报告的总和。
-u：CPU利用率
-v：进程、I节点、文件和锁表状态。
-d：硬盘使用报告。
-r：内存和交换空间的使用统计。
-g：串口I/O的情况。
-b：缓冲区使用情况。
-a：文件读写情况。
-c：系统调用情况。
-q：报告队列长度和系统平均负载
-R：进程的活动情况。
-y：终端设备活动情况。
-w：系统交换活动。
-x { pid | SELF | ALL}：报告指定进程ID的统计信息，SELF关键字是sar进程本身的统计，ALL关键字是所有系统进程的统计。

用sar进行CPU利用率的分析

#sar -u 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/28/2009

07:40:17PM            CPU        %user        %nice    %system    %iowait      %steal        %idle
07:40:19PM            all                12.44          0.00                6.97                  1.74                0.00              78.86
07:40:21PM            all                26.75          0.00              12.50                16.00            0.00              44.75
07:40:23PM            all                16.96          0.00                7.98                  0.00                0.00              75.06
07:40:25PM            all                22.50          0.00                7.00                  3.25                0.00              67.25
07:40:27PM            all                7.25              0.00                2.75                  2.50                0.00              87.50
07:40:29PM            all                20.05          0.00                8.56                  2.93                0.00              68.46
07:40:31PM            all                13.97          0.00                6.23                  3.49                0.00              76.31
07:40:33PM            all                  8.25              0.00                0.75                  3.50                0.00              87.50
07:40:35PM            all                13.25          0.00                5.75                  4.00                0.00              77.00
07:40:37PM            all                10.03          0.00                0.50                  2.51                0.00              86.97
Average:                        all                15.15          0.00                5.91                  3.99                0.00              74.95

 

在显示内容包括：

　　%user：CPU处在用户模式下的时间百分比。

              %nice：CPU处在带NICE值的用户模式下的时间百分比。
　　%system：CPU处在系统模式下的时间百分比。
　　%iowait：CPU等待输入输出完成时间的百分比。

              %steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。
　　%idle：CPU空闲时间百分比。

              在所有的显示中，我们应主要注意%iowait和%idle，%iowait的值过高，表示硬盘存在I/O瓶颈，%idle值高，表示CPU较空闲，如果%idle值高但系统响应慢时，有可能是CPU等待分配内存，此时应加大内存容量。%idle值如果持续低于10，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。

 

用sar进行运行进程队列长度分析：

#sar -q 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/28/2009

07:58:14 PM    runq-sz  plist-sz    ldavg-1    ldavg-5  ldavg-15
07:58:16PM                0                493                  0.64              0.56              0.49
07:58:18PM                1                491                  0.64              0.56              0.49
07:58:20PM                1                488                  0.59              0.55              0.49
07:58:22PM                0                487                  0.59              0.55              0.49
07:58:24PM                0                485                  0.59              0.55              0.49
07:58:26PM                1                483                  0.78              0.59              0.50
07:58:28PM                0                481                  0.78              0.59              0.50
07:58:30PM                1                480                  0.72              0.58              0.50
07:58:32PM                0                477                  0.72              0.58              0.50
07:58:34PM                0                474                  0.72              0.58              0.50
Average:                            0                484                  0.68              0.57              0.49

 

runq-sz 准备运行的进程运行队列。
plist-sz  进程队列里的进程和线程的数量
ldavg-1  前一分钟的系统平均负载( load average)
ldavg-5  前五分钟的系统平均负载( load average)
ldavg-15   前15分钟的系统平均负载( load average)

 

顺便说一下loadavarage的含义

load average可以理解为每秒钟CPU等待运行的进程个数.

在Linux系统中，sar-q、uptime、w、top等命令都会有系统平均负载load average的输出，那么什么是系统平均负载呢？
　　系统平均负载被定义为在特定时间间隔内运行队列中的平均任务数。如果一个进程满足以下条件则其就会位于运行队列中：
　　- 它没有在等待I/O操作的结果
　　- 它没有主动进入等待状态(也就是没有调用'wait')
　　- 没有被停止(例如：等待终止)
　　例如：
# uptime
　　20:55:40 up 24 days,  3:06,  1user,  load average: 8.13, 5.90, 4.94
　　命令输出的最后内容表示在过去的1、5、15分钟内运行队列中的平均进程数量。
　　一般来说只要每个CPU的当前活动进程数不大于3那么系统的性能就是良好的，如果每个CPU的任务数大于5，那么就表示这台机器的性能有严重问题。对于上面的例子来说，假设系统有两个CPU，那么其每个CPU的当前任务数为：8.13/2=4.065。这表示该系统的性能是可以接受的。

 

三，iostat

 

#iostat -c 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/28/2009

avg-cpu:  %user    %nice %system%iowait  %steal    %idle
                                      30.10      0.00                  4.89                5.63      0.00    59.38

avg-cpu:  %user    %nice %system%iowait  %steal    %idle
                                      8.46            0.00                    1.74                0.25      0.00    89.55

avg-cpu:  %user    %nice %system%iowait  %steal    %idle
                                      22.06        0.00                  11.28            1.25      0.00    65.41

 

四，mpstat

mpstat是MultiprocessorStatistics的缩写，是实时系统监控工具。其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中。在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。下面只介绍mpstat与CPU相关的参数，mpstat的语法如下：

mpstat [-P {|ALL}][internal [count]]

参数的含义如下：

参数 解释

-P {|ALL} 表示监控哪个CPU，cpu在[0,cpu个数-1]中取值

internal相邻的两次采样的间隔时间

count采样的次数，count只能和delay一起使用

当没有参数时，mpstat则显示系统启动以后所有信息的平均值。有interval时，第一行的信息自系统启动以来的平均信息。从第二行开始，输出为前一个interval时间段的平均信息。与CPU有关的输出的含义如下：

参数 解释从/proc/stat获得数据

CPU处理器ID

user在internal时间段里，用户态的CPU时间（%） ，不包含 nice值为负 进程usr/total*100

nice在internal时间段里，nice值为负进程的CPU时间（%） nice/total*100

system在internal时间段里，核心时间（%） system/total*100

iowait在internal时间段里，硬盘IO等待时间（%） iowait/total*100

irq在internal时间段里，软中断时间（%） irq/total*100

soft在internal时间段里，软中断时间（%） softirq/total*100

idle在internal时间段里，CPU除去等待磁盘IO操作外的因为任何原因而空闲的时间闲置时间 （%）idle/total*100

intr/s在internal时间段里，每秒CPU接收的中断的次数 intr/total*100

CPU总的工作时间=total_cur=user+system+nice+idle+iowait+irq+softirq

total_pre=pre_user+pre_system+ pre_nice+ pre_idle+ pre_iowait+ pre_irq+pre_softirq

user=user_cur –user_pre

total=total_cur-total_pre

其中_cur表示当前值，_pre表示interval时间前的值。上表中的所有值可取到两位小数点。

#mpstat -P ALL 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain) 03/28/2009

 

10:07:57 PM CPU  %user  %nice    %sys%iowait   %irq   %soft %steal  %idle   intr/s
10:07:59 PM all  20.75   0.00  10.50   1.50   0.25   0.25   0.00  66.75   1294.50
10:07:59 PM   0  16.00   0.00   9.00   1.50   0.00   0.00   0.00  73.50   1000.50
10:07:59 PM   1  25.76   0.00  12.12   1.52   0.00   0.51   0.00  60.10   294.00