prometheus+alertmanager实现CPU、内存、磁盘的监控报警

一、配置文件

在promethus安装目录下创建文件夹rules，在rules目录下创建文件host.rules

vim host.rules 

输入如下内容：

groups:
- name: Host
  rules:
  - alert: HostCPU
    expr: 100 * (1 - avg(irate(node_cpu_seconds_total{mode="idle"}[2m])) by(instance)) > 10
    for: 5m
    labels:
      serverity: high
    annotations:
      summary: "{{$labels.instance}}: High CPU Usage Detected"
      description: "{{$labels.instance}}: CPU usage is {{$value}}, above 10%"

  - alert: HostMemory
    expr: (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100 > 20
    for: 5m
    labels:
      serverity: middle
    annotations:
      summary: "{{$labels.instance}}: High Memory Usage Detected"
      description: "{{$labels.instance}}: Memory Usage i{{ $value }}, above 20%"

  - alert: HostDisk
    expr: 100 * (node_filesystem_size_bytes{fstype=~"xfs|ext4"} - node_filesystem_avail_bytes) / node_filesystem_size_bytes > 30
    for: 5m
    labels:
      serverity: low
    annotations:
      summary: "{{$labels.instance}}: High Disk Usage Detected"
      description: "{{$labels.instance}}, mountpoint {{$labels.mountpoint}}: Disk Usage is {{ $value }}, above 30%"

注意：此处的CPU使用率超过10%，内存使用率超过20%，磁盘使用率超过30%均为测试需要，不一定适用于您的系统配置，请根据您的需要酌情合理配置。

重启promethus服务。

二、CPU使用过高报警

访问UI : http://192.168.1.121:9090/alerts

邮件报警内容如下图：

三、内存使用过高报警

四、磁盘使用过高报警

参考文档：https://www.kancloud.cn/pshizhsysu/prometheus/1803806