本文详细介绍了如何通过Linux命令如top、vmstat、free、df和iostat排查系统性能瓶颈，涉及CPU、内存、磁盘和I/O设备的监控。重点讲解了进程状态、负载均衡、内存使用、虚拟内存统计、磁盘空间管理和I/O性能分析。
本文的核心内容：系统性能排查需要关注的资源，以及我们在排查系统层面需要掌握的Linux命令。
对操作系统来说我们需要关注以下资源：当这些资源出现问题则会影响我们的应用，我们应该先从系统的层面去判断排查是否存在性能瓶颈。最后再落实到具体应用中，排查应用存在的瓶颈问题。
中央处理器CPU
- 通过top命令，观测CPU性能
- 通过负载，评估CPU任务执行的排队情况 (uptime)
- 通过vmstat，看CPU的繁忙程度 （上下文切换）
内存
- top命令
VIRT 这里是指虚拟内存，一般比较大，不用过多关注
RES 这里代表进程的实际占用内存
SHR 共享内存，比一些可以服用的一些so文件等
- free命令 总内存-使用内存-可用内存
磁盘
- df命令查看磁盘挂载以及容量
- du命令文件目录磁盘占用问题
I/O设备
- 通过iostat查看是否存在IO瓶颈
TOP命令
系统管理员可用运行top命令监视进程和Linux整体性能。
第一行：进程信息统计
Processes: 308 total, 2 running, 306 sleeping, 1187 threads
进程总数、正在运行的进程、睡眠的进程、线程总数。
第二行：任务队列信息，同uptime命令的执行结果一样
22:56 up 1:41, 3 users, load averages: 1.65 1.78 2.21
1:41, 3 users, [系统运行时间、用户数量]
22:55:14 Load Avg: 1.63, 1.89, 2.30 [当前时间。 系统负载即：任务队列的平均长度。]
第三行：CPU信息统计数据
CPU usage: 1.45% user, 1.57% sys, 96.96% idle
动态指标包含
Pid command %CPU time mem Ppid
PS命令 （查看系统进程）
PS，是Linux系统命令之一，是在Linux中是查看进程的命令。
ps查看正处于Running的进程，ps aux查看所有的进程，-ef 全格式全进程。
ps -ef|grep <进程名> 查看并筛选 跟进程名有关的进程，该进程名可以是进程的全部或者部分。
linux操作系统，进程有五种状态
- 运行状态(正在运行或在运行队列中等待[就绪队列])
- 中断状态(休眠中, 受阻, 在等待某个条件的形成或接受到信号)
- 不可中断状态(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生)
- 僵死状态(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放)
- 停止状态(进程收到SIGSTOP, SIGSTP, SIGTIN, SIGTOU信号后停止运行运行)
uptime命令（系统负载情况）
[root@VM_0_5_centos ~]# uptime
21:45:27 up 55 days, 5:10, 1 user, load average: 0.16, 0.12, 0.08
#当前服务器时间： 21:45:27
#当前服务器运行时长 55 days, 5:10,
#当前用户数 1 user
#当前的负载均衡 load average: 0.16, 0.12, 0.08 分别取1min,5min,15min的均值系统平均负载被定义为在特定时间间隔内运行队列中的平均进程树。如果一个进程满足以下条件则其就会位于运行队列中：
- 它没有在等待I/O操作的结果
- 它没有主动进入等待状态(也就是没有调用'wait')
- 没有被停止(例如：等待终止)
一般来说，每个CPU内核当前活动进程数不大于3，则系统运行表现良好！当然这里说的是每个cpu内核，也就是如果你的主机是四核cpu的话，那么只要uptime最后输出的一串字符数值小于12即表示系统负载不是很严重.
free命令（系统内存情况）
free 命令显示系统内存的使用情况，包括物理内存、交换内存(swap)和内核缓冲区内存。 【total - used - available】
[root@VM_0_5_centos ~]# free
total used free shared buff/cache available
Mem: 1882148 451480 89788 584 1340880 1242608
Swap: 0 0 0
如果加上 -h 选项，输出的结果会友好很多
[root@VM_0_5_centos ~]# free -h
total used free shared buff/cache available
Mem: 1.8G 440M 99M 576K 1.3G 1.2G
Swap: 0B 0B 0B有时我们需要持续的观察内存的状况，此时可以使用 -s 选项并指定间隔的秒数：[root@VM_0_5_centos ~]# free -h -s 3
total used free shared buff/cache available
Mem: 1.8G 463M 76M 576K 1.3G 1.2G
Swap: 0B 0B 0B
total used free shared buff/cache available
Mem: 1.8G 463M 76M 576K 1.3G 1.2G
Swap: 0B 0B 0B
total used free shared buff/cache available
Mem: 1.8G 466M 73M 576K 1.3G 1.2G
Swap: 0B 0B 0B上面的命令每隔 3 秒输出一次内存的使用情况，直到你按下 ctrl + c。
输出简介
Mem行是物理内存使用情况 （实际内存）Swap行是虚拟内存作用情况used列为已分配内存 （used = total – free – buff/cache）free列为未分配的内存 （free = total – used – buff/cache）total列为物理内存总量shared列为共享内存Buff/cach列缓冲区和缓存总的使用内存量available列可用于启动新应用的可用内存量
vmstat命令（虚拟内存统计）
物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。
[root@VM_0_5_centos ~]# vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
4 0 0 86372 20352 1300996 0 0 7 38 9 7 1 1 98 0
Procs（进程）：
r: 运行队列中进程数量
b： 等待IO的进程数量
Memory（内存）：
swpd: 使用虚拟内存大小
free: 可用内存大小
buff: 用作缓冲的内存大小
cache: 用作缓存的内存大小
Swap（交换分区）：
so: 每秒写入交换区的内存大小
si: 每秒从交换区写到内存的大小
IO（现在的Linux版本块的大小为1024bytes）：
bi: 每秒读取的块数
bo: 每秒写入的块数
系统：
in: 每秒中断数，包括时钟中断。【interrupt】
cs: 每秒上下文切换数。 【count/second】
CPU（以百分比表示）：
us: 用户进程执行时间(user time)
sy: 系统进程执行时间(system time)
id: 空闲时间(包括IO等待时间),中央处理器的空闲时间 。以百分比表示。
wa: 等待IO时间
df命令（查看分区磁盘空间）
[root@VM_0_5_centos ~]# df
文件系统 1K-块 已用 可用 已用% 挂载点
devtmpfs 930392 0 930392 0% /dev
tmpfs 941072 24 941048 1% /dev/shm
tmpfs 941072 548 940524 1% /run
tmpfs 941072 0 941072 0% /sys/fs/cgroup
/dev/vda1 51473888 10202572 38633568 21% /
tmpfs 188216 0 188216 0% /run/user/0
[root@VM_0_5_centos ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 909M 0 909M 0% /dev
tmpfs 920M 24K 919M 1% /dev/shm
tmpfs 920M 548K 919M 1% /run
tmpfs 920M 0 920M 0% /sys/fs/cgroup
/dev/vda1 50G 9.8G 37G 21% /
tmpfs 184M 0 184M 0% /run/user/0只要是含有tmpfs都是临时文件系统
查看以inode的数量显示
当我们的inode使用已经达到百分百时，即使我们的磁盘空间还是有剩余，我们也是写不了数据到磁盘的
什么是inode？（存储文件元信息的"索引节点"）
文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（Sector）。每个扇区储存512字节（相当于0.5KB）。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector组成一个block。
文件数据都储存在"块"中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。inode包含文件的元信息，具体来说有以下内容：
- 文件的字节数
- 文件拥有者的User ID
- 文件的Group ID
- 文件的读、写、执行权限
- 文件的时间戳，共有三个：ctime指inode上一次变动的时间，mtime指文件内容上一次变动的时间，atime指文件上一次打开的时间。
- 链接数，即有多少文件名指向这个inode
- 文件数据block的位置
我们可以通过stat命令查看文件的元信息。
[root@VM_0_5_centos ~]# stat record.txt
文件："record.txt"
大小：1129 块：8 IO 块：4096 普通文件
设备：fd01h/64769d Inode：393382 硬链接：1
权限：(0644/-rw-r--r--) Uid：( 0/ root) Gid：( 0/ root)
最近访问：2020-07-15 19:32:38.386897140 +0800
最近更改：2020-07-15 19:32:38.386897140 +0800
最近改动：2020-07-15 19:32:38.390897141 +0800
创建时间：-由于每个文件都必须有一个inode，因此有可能发生inode已经用光，但是硬盘还未存满的情况。这时，就无法在硬盘上创建新文件。
inode号码是什么？
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。
这里值得重复一遍，Unix/Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称或 者绰号。表面上，用户通过文件名，打开文件。实际上，系统内部这个过程分成三步：首先，系统找到这个文件名对应的inode号码；其次，通过inode号 码，获取inode信息；最后，根据inode信息，找到文件数据所在的block，读出数据。
inode的特殊作用？
由于inode号码与文件名分离，这种机制导致了一些Unix/Linux系统特有的现象。
1. 有时，文件名包含特殊字符，无法正常删除。这时，直接删除inode节点，就能起到删除文件的作用。
2. 移动文件或重命名文件，只是改变文件名，不影响inode号码。
3. 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。因此，通常来说，系统无法从inode号码得知文件名。
第3点使得软件更新变得简单，可以在不关闭软件的情况下进行更新，不需要重启。因为系统通过inode号码，识别运行中的文件，不通过文件名。更新的时 候，新版文件以同样的文件名，生成一个新的inode，不会影响到运行中的文件。等到下一次运行这个软件的时候，文件名就自动指向新版文件，旧版文件的 inode则被回收。
du命令（查看文件/目录的所占磁盘空间大小）
[root@VM_0_5_centos ~]# du -h record.txt
4.0K record.txt
以易读方式显示文件夹内及子文件夹大小
[root@VM_0_5_centos ~]# du -h rar/
2.4M rar/#以易读方式显示文件夹内所有文件大小
[root@VM_0_5_centos ~]# du -ah rar/
4.0K rar/makefile
16K rar/whatsnew.txt
8.0K rar/acknow.txt
8.0K rar/license.txt
272K rar/unrar
480K rar/rar
12K rar/technote.txt
164K rar/default.sfx
96K rar/rar.txt
4.0K rar/rarfiles.lst
1.3M rar/rar_static
4.0K rar/readme.txt
4.0K rar/order.htm
2.4M rar/
iostat命令（I/O性能评测）
# iostat属于sysstat软件包。可以直接安装。
yum install sysstat
[root@VM_0_5_centos ~]# iostat
Linux 3.10.0-1127.13.1.el7.x86_64 (VM_0_5_centos) 2020年11月23日 _x86_64_ (1 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.72 0.00 0.68 0.10 0.00 98.49
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
vda 5.28 6.58 38.48 31298669 183158188
scd0 0.00 0.00 0.00 316 0单独执行iostat，显示的结果为从系统开机到当前执行时刻的统计信息。
avg-cpu: 总体cpu使用情况统计信息，对于多核cpu，这里为所有cpu的平均值。重点关注iowait值，表示CPU用于等待io请求的完成时间。
- %user：CPU处在用户模式下的时间百分比。
- %nice：CPU处在带NICE值的用户模式下的时间百分比。
- %system：CPU处在系统模式下的时间百分比。
- %iowait：CPU等待输入输出完成时间的百分比。
- %steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。
- %idle：CPU空闲时间百分比。
Device: 各磁盘设备的IO统计信息。各列含义如下：
- Device: 以sdX形式显示的设备名称
- tps: 每秒进程下发的IO读、写请求数量
- KB_read/s: 每秒从驱动器读入的数据量，单位为K。
- KB_wrtn/s: 每秒从驱动器写入的数据量，单位为K。
- KB_read: 读入数据总量，单位为K。
- KB_wrtn: 写入数据总量，单位为K。
iostat -d -x -k 1 1查看设备使用率（%util）、响应时间（await）
- rrqm/s: 每秒进行 merge 的读操作数目。即 rmerge/s
- wrqm/s: 每秒进行 merge 的写操作数目。即 wmerge/s
- r/s: 每秒完成的读 I/O 设备次数。即 rio/s
- w/s: 每秒完成的写 I/O 设备次数。即 wio/s
- rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。
- wkB/s: 每秒写K字节数。是 wsect/s 的一半。
- avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)。
- avgqu-sz: 平均I/O队列长度。
- rsec/s: 每秒读扇区数。即 rsect/s
- wsec/s: 每秒写扇区数。即 wsect/s
- r_await:每个读操作平均所需的时间
- 不仅包括硬盘设备读操作的时间，还包括了在kernel队列中等待的时间。
- w_await:每个写操作平均所需的时间
- 不仅包括硬盘设备写操作的时间，还包括了在kernel队列中等待的时间。
- await: 平均每次设备I/O操作的等待时间 (毫秒)。
- svctm: 平均每次设备I/O操作的服务时间 (毫秒)。
- %util: 一秒中有百分之多少的时间用于 I/O 操作，即被io消耗的cpu百分比
备注：如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。如果 svctm 比较接近 await，说明 I/O 几乎没有等待时间；如果 await 远大于 svctm，说明I/O 队列太长，io响应太慢，则需要进行必要优化。如果avgqu-sz比较大，也表示有当量io在等待。
870
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
