Linux系统运行分析工具-Sar命令使用总结

目录

 

sar介绍

sar用途

sar安装和启动

sar使用

1.追溯过去的统计数据

2.统计CPU使用情况

   sar -u 2 3  #每间隔2秒钟统计一次总共统计三次

sar -q #查看平均负载

3.查看内存使用情况

4.查看系统Swap分区信息

5.查看I/O和传输速率的统计信息

6.磁盘使用情况统计

7.统计进程、inode、文件和锁表状态

8.统计网络信息

sar -n DEV 1 1： 每间隔1秒统计一次，总计统计1次，下面的average是在多次统计后的平均值

sar -n EDEV  1 1  #统计网络设备通信失败信息：

sar -n SOCK 1 1  #统计socket连接信息

sar -n TCP 1 3 #TCP连接的统计

sar -n 使用总结

sar命令汇总

---

sar介绍

sar用途

sar是系统活动情况报告（System ActivityReporter)的简写，目前Linux上最为全面的系统性能分析工具。可以从以下方面对系统的活动进行报告，包括

• 文件读写情况
• 系统调用使用情况
• 磁盘I/O
• cpu效率
• 内存使用状况
• 进程活动及IPC有关内容

sar安装和启动

yum install sysstat

#安装完后默认路径
find / -name sysstat
  /etc/sysconfig/sysstat
  /etc/cron.d/sysstat
  /etc/selinux/targeted/active/modules/100/sysstat

#启动命令
systemctl start sysstat
systemctl status sysstat
systemctl stop sysstat

sar使用

1.追溯过去的统计数据

#默认日志保存在/var/log/sa/下，按天保存，10分钟收集一次

[root@node1 ~]# sar
Linux 3.10.0-957.el7.x86_64 (k8s.node2)         06/26/2020      _x86_64_        (1 CPU)

08:00:01 AM     CPU     %user     %nice   %system   %iowait    %steal     %idle
08:10:01 AM     all      0.07      0.00      0.09      0.06      0.00     99.78
08:20:01 AM     all      0.07      0.00      0.09      0.00      0.00     99.84
08:30:01 AM     all      0.08      0.00      0.08      0.00      0.00     99.84
08:40:01 AM     all      0.11      0.00      0.26      0.06      0.00     99.57
Average:        all      0.08      0.00      0.13      0.03      0.00     99.76

#或者用命令sar -r -f /var/log/sysstat/sa26

[root@node1 ~]# sar -r -f /var/log/sa/sa26 
Linux 3.10.0-957.el7.x86_64 (k8s.node2)         06/26/2020      _x86_64_        (1 CPU)

08:00:01 AM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
08:10:01 AM    427400    568496     57.08      2104    341612    448300     45.01    263976    166348         0
08:20:01 AM    426076    569820     57.22      2104    341620    450800     45.27    264840    166384         0
08:30:01 AM    427080    568816     57.12      2104    341608    448300     45.01    264072    166364         0
08:40:01 AM    400196    595700     59.82      2104    341740    452332     45.42    265584    166348         4
Average:       420188    575708     57.81      2104    341645    449933     45.18    264618    166361         1

2.统计CPU使用情况

   sar -u 2 3  #每间隔2秒钟统计一次总共统计三次

[root@node1 ~]@ sar -u 2 3
Linux 3.10.0-957.el7.x86_64 (node1)     06/26/2020      _x86_64_        (1 CPU)

09:30:02 AM     CPU     %user     %nice   %system   %iowait    %steal     %idle
09:30:04 AM     all      0.00      0.00      0.50      0.00      0.00     99.50
09:30:06 AM     all      0.00      0.00      0.00      0.00      0.00    100.00
09:30:08 AM     all      0.50      0.00      0.00      0.00      0.00     99.50
Average:        all      0.17      0.00      0.17      0.00      0.00     99.67

#查看每个CPU使用情况
sar -p 2 3

#将结果同时输出到/tmp/下文件中
sar -u -o /tmp/sa  2 3 

#从文件中读入
sar -f /tmp/sa

#%user #用户空间的CPU使用

#%nice 改变过优先级的进程的CPU使用率

#%system 内核空间的CPU使用率

#%iowait CPU等待IO的百分比 

#%steal 虚拟机的虚拟机CPU使用的CPU

#%idle 空闲的CPU

#在以上的显示当中，主要看%iowait和%idle，%iowait过高表示存在I/O瓶颈，即磁盘IO无法满足业务需求，如果%idle过低表示CPU使用率比较严重，需要结合内存使用等情况判断CPU是否瓶颈。  

sar -q #查看平均负载

#runq-sz  运行队列的长度（等待运行的进程数，每核的CP不能超过3个）

#plist-sz 进程列表中的进程（processes）和线程数（threads）的数量

#ldavg-1 最后1分钟的CPU平均负载，即将多核CPU过去一分钟的负载相加再除以核心数得出的平均值，5分钟和15分钟以此类推

#ldavg-5 最后5分钟的CPU平均负载

#ldavg-15 最后15分钟的CPU平均负载

3.查看内存使用情况

[root@node1 ~]@ sar -r
Linux 3.10.0-957.el7.x86_64 (k8s.node2)         06/26/2020      _x86_64_        (1 CPU)

08:00:01 AM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
08:10:01 AM    427400    568496     57.08      2104    341612    448300     45.01    263976    166348         0
08:20:01 AM    426076    569820     57.22      2104    341620    450800     45.27    264840    166384         0
08:30:01 AM    427080    568816     57.12      2104    341608    448300     45.01    264072    166364         0
08:40:01 AM    400196    595700     59.82      2104    341740    452332     45.42    265584    166348         4
Average:       420188    575708     57.81      2104    341645    449933     45.18    264618    166361         1

#kbmemfree  空闲的物理内存大小

#kbmemused  使用中的物理内存大小

#%memused 物理内存使用率

#kbbuffers 内核中作为缓冲区使用的物理内存大小，kbbuffers和kbcached:这两个值就是free命令中的buffer和cache. 

#kbcached 缓存的文件大小

#kbcommit  保证当前系统正常运行所需要的最小内存，即为了确保内存不溢出而需要的最少内存（物理内存+Swap分区）

#commit 这个值是kbcommit与内存总量（物理内存+swap分区）的一个百分比的值

4.查看系统Swap分区信息

[root@node1 ~]@ sar -w
Linux 3.10.0-957.el7.x86_64 (k8s.node2)         06/26/2020      _x86_64_        (1 CPU)

08:00:01 AM    proc/s   cswch/s
08:10:01 AM      0.04     62.66
08:20:01 AM      0.02     56.84
08:30:01 AM      0.01     54.77
08:40:01 AM      0.05     64.78
Average:         0.03     59.76

#pswpin/s  每秒从交换分区到系统的交换页面（swap page）数量

#pswpott/s 每秒从系统交换到swap的交换页面（swap page）的数量

5.查看I/O和传输速率的统计信息

[root@node1 ~]@ sar -b
Linux 3.10.0-957.el7.x86_64 (k8s.node2)         06/26/2020      _x86_64_        (1 CPU)

08:00:01 AM       tps      rtps      wtps   bread/s   bwrtn/s
08:10:01 AM      0.15      0.01      0.14      0.16      3.22
08:20:01 AM      0.07      0.00      0.07      0.00      0.76
08:30:01 AM      0.06      0.00      0.06      0.00      0.71
08:40:01 AM      0.60      0.39      0.21     10.82     10.00
Average:         0.22      0.10      0.12      2.74      3.67

#tps  磁盘每秒钟的IO总数，等于iostat中的tps

#rtps 每秒钟从磁盘读取的IO总数

#wtps 每秒钟从写入到磁盘的IO总数

#bread/s 每秒钟从磁盘读取的块总数

#bwrtn/s 每秒钟此写入到磁盘的块总数

6.磁盘使用情况统计

[root@node1 ~]@ sar -d
Linux 3.10.0-957.el7.x86_64 (k8s.node2)         06/26/2020      _x86_64_        (1 CPU)

08:00:01 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
08:10:01 AM    dev8-0      0.15      0.16      3.22     22.49      0.00      7.19      6.20      0.09
08:10:01 AM  dev253-0      0.17      0.16      3.21     19.78      0.00      5.78      4.62      0.08
08:10:01 AM  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:20:01 AM    dev8-0      0.07      0.00      0.76     10.76      0.00      0.52      0.29      0.00
08:20:01 AM  dev253-0      0.08      0.00      0.76      9.62      0.00      0.55      0.26      0.00
08:20:01 AM  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:30:01 AM    dev8-0      0.06      0.00      0.71     12.09      0.00     11.03     10.66      0.06
08:30:01 AM  dev253-0      0.07      0.00      0.71     10.57      0.00      9.78      9.33      0.06
08:30:01 AM  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:40:01 AM    dev8-0      0.60     10.82     10.00     34.89      0.00      8.01      7.28      0.43
08:40:01 AM  dev253-0      0.71     10.62     10.00     29.09      0.00      6.70      5.86      0.42
08:40:01 AM  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:       dev8-0      0.22      2.74      3.67     29.30      0.00      7.47      6.76      0.15
Average:     dev253-0      0.26      2.69      3.67     24.84      0.00      6.28      5.45      0.14
Average:     dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

#DEV 磁盘设备的名称，如果不加-p，会显示dev253-0类似的设备名称，因此加上-p显示的名称更直接

#tps：每秒I/O的传输总数

#rd_sec/s 每秒读取的扇区的总数

#wr_sec/s 每秒写入的扇区的 总数

#avgrq-sz 平均每次次磁盘I/O操作的数据大小（扇区）

#avgqu-sz 磁盘请求队列的平均长度

#await 从请求磁盘操作到系统完成处理，每次请求的平均消耗时间，包括请求队列等待时间，单位是毫秒（1秒等于1000毫秒），等于寻道时间+队列时间+服务时间

#svctm I/O的服务处理时间，即不包括请求队列中的时间

#%util I/O请求占用的CPU百分比，值越高，说明I/O越慢

7.统计进程、inode、文件和锁表状态

[root@node1 ~]@ sar -v
Linux 3.10.0-957.el7.x86_64 (k8s.node2)         06/26/2020      _x86_64_        (1 CPU)

08:00:01 AM dentunusd   file-nr  inode-nr    pty-nr
08:10:01 AM     67612      1152     24497         2
08:20:01 AM     67637      1216     24533         2
08:30:01 AM     67630      1152     24497         2
08:40:01 AM     91215      1216     48189         2
Average:        73524      1184     30429         2

#dentunusd 在缓冲目录条目中没有使用的条目数量

#file-nr 被系统使用的文件句柄数量

#inode-nr 已经使用的索引数量 

#pty-nr 使用的pty数量

这里面的索引和文件句柄值不是ulimit -a查看到的值，而是sysctl.conf里面定义的和内核相关的值， max-file表示系统级别的能够打开的文件句柄的数量， 而ulimit -n控制进程级别能够打开的文件句柄的数量，可以使用sysctl  -a | grep inode和sysctl  -a | grep file查看。

file-max中指定了系统范围内所有进程可打开的文件句柄的数量限制(系统级别， kernel-level)。 （The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate）。当收到"Too many open files in system"这样的错误消息时， 就应该曾加这个值了。
    # cat /proc/sys/fs/file-max
    4096
    # echo 100000 > /proc/sys/fs/file-max
    或者
    # echo ""fs.file-max=65535" >> /etc/sysctl.conf
    # sysctl -p
file-nr 可以查看系统中当前打开的文件句柄的数量。 他里面包括3个数字： 第一个表示已经分配了的文件描述符数量， 第二个表示空闲的文件句柄数量， 第三个表示能够打开文件句柄的最大值（跟file-max一致）。  内核会动态的分配文件句柄， 但是不会再次释放他们（这个可能不适应最新的内核了， 在我的file-nr中看到第二列一直为0， 第一列有增有减）	
man bash， 找到说明ulimit的那一节：提供对shell及其启动的进程的可用资源（包括文件句柄， 进程数量， core文件大小等）的控制。 这是进程级别的， 也就是说系统中某个session及其启

8.统计网络信息

sar -n 选项使用6个不同开关 ：DEV，EDEV，NFS，NFSD，SOCK，IP，EIP，ICMP，EICMP，TCP，ETCP，UDP，SOCK6，IP6，EIP6，ICMP6，EICMP6和UDP6 ，DEV显示网络接口信息，EDEV显示关于网络错误的统计数据，NFS统计活动的NFS客户端的信息，NFSD统计NFS服务器的信息，SOCK显示套接字信息，ALL显示所有5个开关。它们可以单独或者一起使用。 

sar -n DEV 1 1： 每间隔1秒统计一次，总计统计1次，下面的average是在多次统计后的平均值

#IFACE 本地网卡接口的名称

#rxpck/s 每秒钟接受的数据包

#txpck/s 每秒钟发送的数据库

#rxKB/S 每秒钟接受的数据包大小，单位为KB

#txKB/S 每秒钟发送的数据包大小，单位为KB

#rxcmp/s 每秒钟接受的压缩数据包

#txcmp/s 每秒钟发送的压缩包

#rxmcst/s 每秒钟接收的多播数据包    

sar -n EDEV  1 1  #统计网络设备通信失败信息：

#IFACE 网卡名称

#rxerr/s 每秒钟接收到的损坏的数据包

#txerr/s 每秒钟发送的数据包错误数

#coll/s 当发送数据包时候，每秒钟发生的冲撞（collisions）数，这个是在半双工模式下才有

#rxdrop/s 当由于缓冲区满的时候，网卡设备接收端每秒钟丢掉的网络包的数目

#txdrop/s 当由于缓冲区满的时候，网络设备发送端每秒钟丢掉的网络包的数目

#txcarr/s  当发送数据包的时候，每秒钟载波错误发生的次数

#rxfram   在接收数据包的时候，每秒钟发生的帧对其错误的次数

#rxfifo    在接收数据包的时候，每秒钟缓冲区溢出的错误发生的次数

#txfifo    在发生数据包 的时候，每秒钟缓冲区溢出的错误发生的次数

sar -n SOCK 1 1  #统计socket连接信息

#totsck 当前被使用的socket总数

#tcpsck 当前正在被使用的TCP的socket总数

#udpsck  当前正在被使用的UDP的socket总数

#rawsck 当前正在被使用于RAW的skcket总数

#if-frag  当前的IP分片的数目

#tcp-tw TCP套接字中处于TIME-WAIT状态的连接数量

########如果你使用FULL关键字，相当于上述DEV、EDEV和SOCK三者的综合 

sar -n TCP 1 3 #TCP连接的统计

#active/s 新的主动连接

#passive/s 新的被动连接

#iseg/s 接受的段

#oseg/s 输出的段

sar -n 使用总结

-n DEV ： 网络接口统计信息。
-n EDEV ： 网络接口错误。
-n IP ： IP数据报统计信息。
-n EIP ： IP错误统计信息。
-n TCP ： TCP统计信息。
-n ETCP ： TCP错误统计信息。
-n SOCK ： 套接字使用。

sar命令汇总

(1) sar -b 5 5        // IO传送速率
(2) sar -B 5 5        // 页交换速率
(3) sar -c 5 5        // 进程创建的速率
(4) sar -d 5 5        // 块设备的活跃信息
(5) sar -n DEV 5 5    // 网路设备的状态信息
(6) sar -n SOCK 5 5   // SOCK的使用情况
(7) sar -n ALL 5 5    // 所有的网络状态信息
(8) sar -P ALL 5 5    // 每颗CPU的使用状态信息和IOWAIT统计状态 
(9) sar -q 5 5        // 队列的长度（等待运行的进程数）和负载的状态
(10) sar -r 5 5       // 内存和swap空间使用情况
(11) sar -R 5 5       // 内存的统计信息（内存页的分配和释放、系统每秒作为BUFFER使用内存页、每秒被cache到的内存页）
(12) sar -u 5 5       // CPU的使用情况和IOWAIT信息（同默认监控）
(13) sar -v 5 5       // inode, file and other kernel tablesd的状态信息
(14) sar -w 5 5       // 每秒上下文交换的数目
(15) sar -W 5 5       // SWAP交换的统计信息(监控状态同iostat 的si so)
(16) sar -x 2906 5 5  // 显示指定进程(2906)的统计信息，信息包括：进程造成的错误、用户级和系统级用户CPU的占用情况、运行在哪颗CPU上
(17) sar -y 5 5       // TTY设备的活动状态
(18) 将输出到文件(-o)和读取记录信息(-f)