node-exporter指标与vmstat指标对应

https://github.com/prometheus/node_exporter/tree/v1.5.0
文档介绍：默认获取vmstat中相关的指标。
node-exporter
输出：

vmstat
输出：

注意：vmstat中的指标不一定在node-exporter中是以node_vmstat_为前缀的指标。

procs：

• r 列表示运行和等待cpu时间片的进程数，如果长期大于1，说明cpu不足，需要增加cpu。
• b 列表示在等待资源的进程数，比如正在等待I/O、或者内存交换等。

memory：

• swpd 切换到内存交换区的内存数量(k表示)。如果swpd的值不为0，或者比较大，比如超过了100m，只要si、so的值长期为0，系统性能还是正常。
• free 当前的空闲页面列表中内存数量。
• buff 作为buffer cache的内存数量，一般对块设备的读写才需要缓冲。
• cache: 作为page cache的内存数量，一般作为文件系统的cache，如果cache较大，说明用到cache的文件较多，如果此时IO中bi比较小，说明文件系统效率比较好。

swap：

• r si 由内存进入内存交换区数量。
• so由内存交换区进入内存数量。

IO：

• bi 从块设备读入数据的总量（读磁盘）（每秒kb）。
• bo 块设备写入数据的总量（写磁盘）（每秒kb）。
  这里我们设置的bi+bo参考值为1000，如果超过1000，而且wa值较大应该考虑均衡磁盘负载，可以结合iostat输出来分析。

system（显示采集间隔内发生的中断数）：

• in 列表示在某一时间间隔中观测到的每秒设备中断数。
• cs列表示每秒产生的上下文切换次数，如当 cs 比磁盘 I/O 和网络信息包速率高得多，都应进行进一步调查。

cpu ：

• us 列显示了用户方式下所花费 CPU 时间的百分比。us的值比较高时，说明用户进程消耗的cpu时间多，但是如果长期大于50%，需要考虑优化用户的程序。
• sy 列显示了内核进程所花费的cpu时间的百分比。这里us + sy的参考值为80%，如果us+sy 大于 80%说明可能存在CPU不足。
• id 列显示了cpu处在空闲状态的时间百分比。
• wa 列显示了IO等待所占用的CPU时间的百分比。这里wa的参考值为30%，如果wa超过30%，说明IO等待严重，这可能是磁盘大量随机访问造成的，也可能磁盘或者磁盘访问控制器的带宽瓶颈造成的(主要是块操作)。
• st指的是steal time，即被偷取的时间。这是vmstat命令输出的一项指标，表示系统将CPU时间片让给其他虚拟机而导致自己的进程等待的时间。如果st的值较高，说明当前系统的负载较重，需要采取措施进行优化。

常使用的告警：

  # 5分钟内平均超过40就告警
  - alert: VMSTATCPUSTAVG40
    expr: avg_over_time((rate(node_cpu_seconds_total{mode="steal"}[5m]) /on(cpu,env,instance,job,platform) sum(rate(node_cpu_seconds_total[5m])) by (cpu,env,instance,job,platform) *100)[5m:]) > 40
    for: 5m
    labels:
      severity: critical
      team: Linux_ECS
    annotations:
      summary: "st 5分钟内平均超过40"
      description: "当前节点(instance {{ $labels.instance }}；CPU {{ $labels.cpu }})的st指标5分钟内平均超过40。\n"