linux系统模块-服务器负载排查

Top中的平均负载

平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和 CPU 使用率并没有直接关系 （uptime 1 5 15分钟的平均负载）

所谓可运行状态的进程，是指正在使用 CPU 或者正在等待 CPU 的进程，也就是我们常用 ps 命令看到的，处于 R 状态（Running 或 Runnable）的进程。

不可中断状态的进程则是正处于内核态关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备的 I/O 响应，也就是我们在 ps 命令中看到的 D 状态（Uninterruptible Sleep，也称为 Disk Sleep）的进程。

比如，当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。

查看处于RD状态的进程 ps -eL -o lwp,pid,ppid,state,comm | grep -E " R | D "

当出现大量D状态的进程时候可能存在僵尸进程 ps -A -ostat,ppid,pid,cmd |grep -e '^[Zz]' 一键杀死所有僵死进程（需要关注父进程是否是1号进程） ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]' | awk -F" " '{ print $2 }' | xargs kill -HUP

高平均负载的三种情况

• CPU 密集型进程，使用大量 CPU 会导致平均负载升高，此时这两者是一致的；（cpu使用率高一般是单进程占用过大导致，pidstate中%user（用户）或者 %system（内核）值过高）

• I/O 密集型进程，等待 I/O 也会导致平均负载升高，但 CPU 使用率不一定很高；（io占用高，pidstate中iowait%值过高）

• 大量等待 CPU 的进程调度也会导致平均负载升高，此时的 CPU 使用率也会比较高；（进程数过多，大于cpu核数导致等待时间过长，pidstate中wait%值过高）

1.cpu密集型

运行 stress 命令，模拟一个 CPU 使用率 100% 的场景 stress --cpu 1 --timeout 600

# -P ALL 表示监控所有 CPU，后面数字 5 表示间隔 5 秒后输出一组数据 $ mpstat -P ALL 5 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:30:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 13:30:11 all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.9513:30:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.0013:30:11 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

# 间隔 5 秒后输出一组数据 -u：默认的参数，显示各个进程的cpu使用统计 $ pidstat -u 5 1 13:37:07 UID PID %usr %system %guest %wait %CPU CPU Command 13:37:12 0 2962 100.00 0.00 0.00 0.00 100.00 1 stress

2.I/O 密集型进程

运行 stress 命令，但这次模拟 I/O 压力，即不停地执行 sync： $ stress -i 1 --timeout 600

# 显示所有 CPU 的指标，并在间隔 5 秒输出一组数据 $ mpstat -P ALL 5 1 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:41:28 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 13:41:33 all 0.21 0.00 12.07 32.67 0.00 0.21 0.00 0.00 0.00 54.84 13:41:33 0 0.43 0.00 23.87 67.53 0.00 0.43 0.00 0.00 0.00 7.74 13:41:33 1 0.00 0.00 0.81 0.20 0.00 0.00 0.00 0.00 0.00 98.99

# 间隔 5 秒后输出一组数据，-u 表示 CPU 指标 $ pidstat -u 5 1 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:42:08 UID PID %usr %system %guest %wait %CPU CPU Command 13:42:13 0 104 0.00 3.39 0.00 0.00 3.39 1 kworker/1:1H 13:42:13 0 109 0.00 0.40 0.00 0.00 0.40 0 kworker/0:1H 13:42:13 0 2997 2.00 35.53 0.00 3.99 37.52 1 stress 13:42:13 0 3057 0.00 0.40 0.00 0.00 0.40 0 pidstat

3.大量进程的场景

使用 stress，但这次模拟的是 8 个进程： $ stress -c 8 --timeout 600

# 间隔 5 秒后输出一组数据 $ pidstat -u 5 1 14:23:25 UID PID %usr %system %guest %wait %CPU CPU Command 14:23:30 0 3190 25.00 0.00 0.00 74.80 25.00 0 stress 14:23:30 0 3191 25.00 0.00 0.00 75.20 25.00 0 stress 14:23:30 0 3192 25.00 0.00 0.00 74.80 25.00 1 stress 14:23:30 0 3193 25.00 0.00 0.00 75.00 25.00 1 stress 14:23:30 0 3194 24.80 0.00 0.00 74.60 24.80 0 stress 14:23:30 0 3195 24.80 0.00 0.00 75.00 24.80 0 stress 14:23:30 0 3196 24.80 0.00 0.00 74.60 24.80 1 stress 14:23:30 0 3197 24.80 0.00 0.00 74.80 24.80 1 stress 14:23:30 0 3200 0.00 0.20 0.00 0.20 0.20 0 pidstat

总结排查思路

1.查看平均负载 1 5 15时间段情况判断当前与之前情况对比，上升还是下降

2.通过mpstat判断是否由于cpu使用率还是io读写导致平均负载升高

cpu可使用top -c后输入大写P进行cpu使用率排序

iostat 可了解io情况重点关注iowate%大于50% %util磁盘忙绿情况 大于80%异常

3.通过pidstate去判断是否由于进程数远大于cpu核数导致平均负载升高