【Alertmanager】Alertmanager配置实现飞书告警

已于 2024-08-29 09:20:59 修改
阅读量1.1k 收藏 31
点赞数 29
分类专栏： linux 其他 文章标签： 飞书
于 2024-08-27 14:55:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/legend818/article/details/141600713
版权
linux 同时被 2 个专栏收录
25 篇文章 0 订阅
订阅专栏
其他
12 篇文章 0 订阅
订阅专栏

目录

1、 Alertmanager实现告警理论知识

1.1 告警

1.2 Alertmanager常见概念

1.2.1、分组

1.2.2、抑制（Inhibition）

1.2.3、静默（Silences）

2、 Alertmanager安装配置

2.1 创建文件夹

2.2 配置模版 （好像不重要）

2.3 配置alertmanager.yml

3、启动容器

3.1 启动

3.2 验证

4、 修改prometheus的配置文件

4.1 新增以下内容

4.2 新增告警规则文件

4.3 重启 prometheus

4.4 查看所有的告警

5、部署prometheusAlert - 发送飞书告警

5.1 介绍

5.2 创建飞书机器人（略）

5.3 安装prometheusAlert

5.4 登录prometheusAlert

6 、修改Alertmanager配置文件

6.1 修改alertmanager.yml

6.2 配置完成后重启Alertmanager

7、飞书验证

7.1 查看报警

7.2 修改飞书模版的时区问题

8、 修改告警模板

9、告警的配置小结

9.1 从prometheus报警去找

9.2 从prometheus设置的报警yml文件当中去找 

前言：基于prometheus-alert+prometheus+alertmanager实现飞书告警

1、 Alertmanager实现告警理论知识

1.1 告警

使用 Prometheus 发出警报分为两部分。Prometheus 服务器的告警规则会将告警发送给Alertmanager。然后，Alertmanager 管理这些警报，包括静音、抑制、聚合和 通过电子邮件、随叫随到的通知系统和聊天平台等方法发送通知。
配置告警和通知的主要步骤如下：

  • 设置和配置 Alertmanager
  • 配置 Prometheus 与 Alertmanager 通信
  • 在 Prometheus 中创建报警规则

1.2 Alertmanager常见概念

Alertmanager 负责处理客户端应用程序（如 Prometheus 服务器）发送的警报。它负责消除重复、分组，并将它们路由到正确的接收器集成，如电子邮件、PagerDuty 或 OpsGenie。同时，它还负责静默和告警抑制。
以下是一些常见概念：

1.2.1、分组

分组将性质相似的警报分类为单个通知。当许多系统同时发生故障，可能同时触发数百到数千个警报时，这在较大的中断期间特别有用。
例如:当网络分区发生时，集群中正在运行数十或数百个服务实例。一半的服务实例不能再访问数据库。Prometheus的警报规则被配置为在每个服务实例无法与数据库通信时发送警报。结果，数百个警报被发送到Alertmanager。
作为用户，人们只想获得一个页面，同时仍然能够准确地看到哪些服务实例受到了影响。因此，我们可以配置Alertmanager，将警报按集群和alertname分组，这样它就会发送一个紧凑的通知。
警报分组、分组通知的定时以及这些通知的接收者由配置文件中的路由树配置。

1.2.2、抑制（Inhibition）

告警抑制，当在已经触发某些警告的情况下，压制与其相关的其他特定警告不发送通知
例如：当有一个警告触发，告知整个集群无法访问时，Alertmanager可以被配置为抑制与该集群相关的所有其他警告的通知。这有助于避免因为成百上千个不相关的警告触发而发送通知，从而帮助用户聚焦于实际的问题。
抑制是通过Alertmanager的配置文件来配置的。

1.2.3、静默（Silences）

静默是一种简单直接的方式来在特定时间内压制警告。静默的配置基于匹配器，就像路由树一样。传入的警告会检查是否匹配活跃静默中所有的等号或正则表达式匹配器。如果匹配，则不会为该警告发送任何通知。
静默是在Alertmanager的Web界面中进行配置的。

2、 Alertmanager安装配置

2.1 创建文件夹

mkdir -p /opt/alertmanager
 
chmod 777 -R  /opt/alertmanager
 
cd /opt/alertmanager
mkdir template

2.2 配置模版 （好像不重要）

vi template/test.tmpl
{{ define "test.html" }}
  {{ range $i, $alert := .Alerts.Firing }}
    [报警项名]:{{ index $alert.Labels "alertname" }}
    [报警主机]:{{ index $alert.Labels "instance" }}
    [报警阀值]:{{ index $alert.Annotations "value" }}
    [开始时间]:{{ $alert.StartsAt }}
  {{ end }}
{{ end }}

2.3 配置alertmanager.yml

vim alertmanager.yml

alertmanager.yml内容如下： 

### 进行配置文件修改
global:
  resolve_timeout: 5m #处理超时时间，默认为5分钟
  smtp_from: 'xxx@qq.com'       # smtp_from：指定通知报警的邮箱
  smtp_smarthost: 'smtp.qq.com:25'        # smtp_smarthost: 使用email打开服务配置
  smtp_auth_username: xxx@qq.com'    # smtp_auth_username：邮箱用户名
  smtp_auth_password: xxxxxxxxxxxxj'    # 此处为邮箱授权码

route:
  group_by: ['alertname', 'item']  # 传入报警分组在一起的标签，如item=测试和alertname=Disk的多个报警将批处理为单个组
  group_wait: 30s  # 这个参数设置了在发送第一批警报之后，Alertmanager 等待新警报加入现有组的时间。此处 group_wait 被设置为 30 秒。如果在 30 秒内没有新的警报加入组，那么这个组的警报将被发送出去。
  group_interval: 300s  # 发送组警报的时间间隔
  repeat_interval: 4h  # 对同一个警报组的重复通知之间的时间间隔 对于email配置中，此项不可以设置过低，否则将会由于邮件发送太多频繁，被smtp服务器拒绝
  receiver: 'email'   # 发送警报的接收者的名称，以下receivers name的名称
  
       
# 定义模板
templates:
  - '/opt/alertmanager/template/*.tmpl'

receivers:

# 接收邮件的邮箱
- name: 'email'
  email_configs:
  - to: 'xxxxxxxx'

inhibit_rules: # 抑制规则
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance', 'prod']

我使用的是这个，比较简单

route:
  group_by: ['alertname', 'item']  # 传入报警分组在一起的标签，如item=测试和alertname=Disk的多个报警将批处理为单个组
  group_wait: 30s  # 这个参数设置了在发送第一批警报之后，Alertmanager 等待新警报加入现有组的时间。此处 group_wait 被设置为 30 秒。如果在 30 秒内没有新的警报加入组，那么这个组的警报将被发送出去。
  group_interval: 300s  # 发送组警报的时间间隔
  repeat_interval: 4h  # 对同一个警报组的重复通知之间的时间间隔 对于email配置中，此项不可以设置过低，否则将会由于邮件发送太多频繁，被smtp服务器拒绝
  receiver: 'web.hook'   # 发送警报的接收者的名称，以下receivers name的名称

receivers:  
- name: 'web.hook'  
  webhook_configs:  
    - url: 'http://192.168.1.XXXX:6080/prometheusalert?type=fs&tpl=prometheus-fs&fsurl=https://open.XXXXXXXX飞书机器人'

inhibit_rules: # 抑制规则
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'instance']

3、启动容器

3.1 启动

docker run -d -p 9093:9093 --restart=always \
  -v /opt/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
  -v /etc/localtime:/etc/localtime -v /etc/timezone:/etc/timezone \
  --name alertmanager \
  prom/alertmanager

3.2 验证

访问：http://IP:9093/

4、 修改prometheus的配置文件

prometheus的安装略 《Prometheus》

4.1 新增以下内容

prometheus.yml

alerting:  
  alertmanagers:  
  - static_configs:  
    - targets:  
      - "192.168.1.98:9093" # Alertmanager地址 

rule_files:  
  - /opt/prom/prometheus/rules/*.yml # 配置规则文件
  # - /opt/prom/prometheus/rules/*.rules # 配置规则文件

4.2 新增告警规则文件

vi /opt/prom/prometheus/rules/alert.yml
  • ‌告警名称‌（‌alert）‌：‌内存使用率预警。‌
  • ‌告警表达式‌（‌expr）‌：‌基于PromQL表达式，‌计算内存使用率是否超过80%。‌
  • ‌评估等待时间‌（‌for）‌：‌40秒，‌表示只有当触发条件持续40秒后才发送告警。‌
  • ‌自定义标签‌（‌labels）‌：‌指定告警级别为critical。‌
  • ‌附加信息‌（‌annotations）‌：‌包括告警的标题、‌服务名称、‌实例、‌值以及一个链接模板，‌用于提供详细的告警信息和处理建议。‌

# 相关的规则设置定义在一个group下。在每一个group中我们可以定义多个告警规则(rule)
groups:
  # 组名。报警规则组名称
- name: 内存预警
  rules:
  - alert: 内存使用率预警
    # expr：基于PromQL表达式告警触发条件，用于计算是否有时间序列满足该条件。
    expr: (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes+node_memory_Buffers_bytes+node_memory_Cached_bytes )) / node_memory_MemTotal_bytes * 100 >= 80
    # for：评估等待时间，可选参数。用于表示只有当触发条件持续一段时间后才发送告警。在等待期间新产生告警的状态为pending。
    for: 40s # for语句会使 Prometheus 服务等待指定的时间, 然后执行查询表达式。（for 表示告警持续的时长，若持续时长小于该时间就不发给alertmanager了，大于该时间再发。for的值不要小于prometheus中的scrape_interval，例如scrape_interval为30s，for为15s，如果触发告警规则，则再经过for时长后也一定会告警，这是因为最新的度量指标还没有拉取，在15s时仍会用原来值进行计算。另外，要注意的是只有在第一次触发告警时才会等待(for)时长。）
    # labels：自定义标签，允许用户指定要附加到告警上的一组附加标签。
    labels:
      # severity: 指定告警级别。有三种等级，分别为 warning, critical 和 emergency 。严重等级依次递增。
      severity: critical
    # annotations: 附加信息，比如用于描述告警详细信息的文字等，annotations的内容在告警产生时会一同作为参数发送到Alertmanager。
    annotations:
      title: "内存使用率预警"
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"
      value: "{{ $value }}"
      btn: "点击查看详情 :撇嘴:"
      link: "http://escctv.hkeasyspeed.com/d/ov0oEgdik/linux?orgId=1&refresh=5s&var-host={{ $labels.instance }}:9100&var-job=${serviceName}"
      template: "**{{ $labels.job }}**({{ $labels.instance }}) 内存使用率**{{ $value }}%**已经超过阈值 **80%**, 请及时处理！"
      description: "**{{ $labels.job }}**({{ $labels.instance }}) 内存使用率**{{ $value }}%恢复到预警值以下！"
- name: CPU预警
  rules:
  - alert: CPU使用率预警 
    # expr：这里假设我们使用1分钟内的平均CPU使用率，并且假设node_cpu_seconds_total中的'mode=idle'代表CPU空闲时间。
    expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[1m])) * 100) >= 80 
    for: 1m
    # labels：自定义标签，允许用户指定要附加到告警上的一组附加标签。
    labels:
      # severity: 指定告警级别。有三种等级，分别为 warning, critical 和 emergency 。严重等级依次递增。
      severity: critical
    # annotations: 附加信息，比如用于描述告警详细信息的文字等，annotations的内容在告警产生时会一同作为参数发送到Alertmanager。
    annotations:
      title: "CPU使用率预警"
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"
      value: "{{ $value }}"
      btn: "点击查看详情 :撇嘴:"
      link: "http://escctv.hkeasyspeed.com/d/ov0oEgdik/linux?orgId=1&refresh=5s&var-host={{ $labels.instance }}:9100&var-job=${serviceName}"
      template: "**{{ $labels.job }}**({{ $labels.instance }}) CPU使用率**{{ $value }}%**已经超过阈值 **80%**, 请及时处理！"
      description: "**{{ $labels.job }}**({{ $labels.instance }}) CPU使用率**{{ $value }}%**恢复到预警值以下！"
- name: 磁盘预警
  rules:
  - alert: 磁盘使用率预警
    expr: (node_filesystem_size_bytes - node_filesystem_avail_bytes) / node_filesystem_size_bytes * 100 >= 80
    for: 1m
    labels:
      severity: critical

    annotations:
      title: "磁盘使用率预警"
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"
#      mountpoint: "{{ $labels.mountpoint }}"
      value: "{{ $value }}"
      btn: "点击查看详情 :撇嘴:"
      link: "http://escctv.hkeasyspeed.com/d/ov0oEgdik/linux?orgId=1&refresh=5s&var-host={{ $labels.instance }}:9100&var-job=${serviceName}"
      template: "**{{ $labels.job }}**({{ $labels.instance }}) 服务器磁盘设备使用率 **{{ $value }}%**超过 **80%**, 请及时处理！"
      description: "**{{ $labels.job }}**({{ $labels.instance }}) 服务器磁盘设备使用率 **{{ $value }}%恢复到预警值以下！"
- name: 实例存活报警
  rules:
  - alert: 实例存活报警
    expr: up == 0
    for: 30s

    labels:
      severity: emergency

    annotations:
      title: "节点宕机报警"
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"
      btn: "点击查看详情 :撇嘴:"
      link: "http://192.168.1.98:9090/targets" # prometheus地址
      template: "节点 **{{ $labels.job }}**({{ $labels.instance }}) 断联, 请及时处理!"	  
      description: "节点 **{{ $labels.job }}**({{ $labels.instance }}) 恢复连接!"	
- name: 网络流量预警  
  rules:  
  - alert: 网络入站流量异常预警  
    expr: rate(node_network_receive_bytes_total{device!~"lo.*"}[2m]) > 100000000  
    for: 2m  
    labels:  
      severity: warning  
    annotations:  
      title: "网络入站流量异常预警"  
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"  
      device: "{{ $labels.device }}"  
      value: "{{ $value }}"  
      btn: "点击查看详情 :冷汗:"  
      link: "http://escctv.hkeasyspeed.com/d/ov0oEgdik/network?orgId=1&refresh=5s&var-host={{ $labels.instance }}:9100&var-job=${serviceName}&var-device=${device}"  
      template: "异常情况 **{{ $labels.job }}**({{ $labels.instance }}) **{{ $labels.device }}** 网络入站流量为**{{ $value }} bytes/s**，超过100MB/s, 请检查是否有异常流量！"
      description: "**{{ $labels.job }}**({{ $labels.instance }}) **{{ $labels.device }}** 网络入站流量为**{{ $value }} bytes/s**，恢复到预警值以下！"
- name: 内存泄漏预警  
  rules:  
  - alert: 内存泄漏预警  
    expr: |  
      (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100) < 10  
    for: 10m  
    labels:  
      severity: critical  
    annotations:  
      title: "内存泄漏预警"  
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"  
      value: "{{ $value }}"  
      btn: "点击查看详情 :叹气:"  
      link: "http://escctv.hkeasyspeed.com/d/memory-leak-dashboard?orgId=1&var-host={{ $labels.instance }}"  
      template: "**{{ $labels.job }}**({{ $labels.instance }})  可用内存低于10%，当前可用内存比例: **{{ $value }}%**，可能存在内存泄漏，请及时处理！"
      description: "**{{ $labels.job }}**({{ $labels.instance }})  可用内存恢复到预警值以下，当前可用内存比例: **{{ $value }}%**"
- name: 系统响应时间预警  
  rules:  
  - alert: 系统响应时间预警  
    expr: |  
      histogram_quantile(0.99, sum(rate(http_server_request_duration_seconds_bucket[5m])) by (le, instance, job)) > 0.5  
    for: 5m  
    labels:  
      severity: warning  
    annotations:  
      title: "系统响应时间预警"  
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"  
      value: "{{ $value }}"  
      btn: "点击查看详情 :思考:"  
      link: "http://escctv.hkeasyspeed.com/d/system-response-time?orgId=1&var-service=${serviceName}&var-instance={{ $labels.instance }}"  
      template: "**{{ $labels.job }}**({{ $labels.instance }})  99%请求响应时间超过500ms，系统性能可能下降，请检查原因！当前99%请求响应时间: {{ $value }}秒"
      description: "**{{ $labels.job }}**({{ $labels.instance }})  99%请求响应时间恢复到预警值以下！当前99%请求响应时间: {{ $value }}秒"
- name: 数据库连接数预警  
  rules:  
  - alert: 数据库连接数预警  
    expr: |  
      mysql_global_status_threads_connected > 500  
    for: 5m  
    labels:  
      severity: warning  
    annotations:  
      title: "数据库连接数预警"  
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"  
      value: "{{ $value }}"  
      btn: "点击查看详情 :冷汗:"  
      link: "http://escctv.hkeasyspeed.com/d/database-connections?orgId=1&var-db={{ $labels.instance }}"  
      template: "**{{ $labels.job }}**({{ $labels.instance }})  数据库连接数已达到**${value}**，接近或超过预设上限，请检查数据库性能和连接池配置！"
      description: "**{{ $labels.job }}**({{ $labels.instance }})  数据库连接数是**${value}**，已恢复到预警值以下！"
- name: 磁盘I/O预警  
  rules:  
  - alert: 磁盘I/O负载预警  
    expr: 100 - (avg by(instance) (irate(node_disk_io_time_seconds_total{job="node-exporter",device!~"loop.*|ram.*"}[2m])) * 100) < 20  
    # 假设我们计算的是磁盘I/O时间占总时间的比例，低于20%可能表示磁盘I/O负载较重  
    for: 2m  
    labels:  
      severity: critical  
    annotations:  
      title: "磁盘I/O负载预警"  
      serviceName: "{{ $labels.job }}"
      instance: "{{ $labels.instance }}"  
      device: "{{ $labels.device }}"  
      value: "{{ $value }}"  
      btn: "点击查看详情 :皱眉:"  
      link: "http://your-monitoring-system.com/dashboard?orgId=1&var-host={{ $labels.instance }}"  
      template: "**{{ $labels.job }}**({{ $labels.instance }})  上 **{{ $labels.device }}** 磁盘的I/O负载较高，剩余可用I/O时间比例已低于 **20%**, 请及时处理！"
      description: "**{{ $labels.job }}**({{ $labels.instance }})  上 **{{ $labels.device }}** 磁盘的I/O负载恢复到预警值以下！当前剩余比例: {{ $value }}%！"

==============================  以下这个不使用了=====================

vi /opt/prom/prometheus/rules/hoststats-alert.rules

groups:
- name: hostStatsAlert

  rules:
  - alert: instanceDown
    expr: up == 0
    for: 5m
    labels:
      severity: node
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."

  - alert: diskFree
    expr: (1-(node_filesystem_free_bytes{fstype=~"ext4|xfs"} / node_filesystem_size_bytes{fstype=~"ext4|xfs"}) ) * 100 > 15
    for: 5m
    labels:
      severity: page
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."

 ========================= 以上这个不使用了=================

4.3 重启 prometheus

4.4 查看所有的告警

可以在Prometheus提供的页面上查看告警规则：
下面可以查看所有的告警规则：

下面这个可以看到告警状态

 

一个报警信息在生命周期内有下面3中状态：

  • inactive: 表示当前报警信息既不是firing状态也不是pending状态
  • pending: 表示在设置的阈值时间范围内被激活了
  • firing: 表示超过设置的阈值时间被激活了

5、部署prometheusAlert - 发送飞书告警

5.1 介绍

alertmanager 是告警处理模块，但是告警消息的发送方法并不丰富。如果需要将告警接入飞书，钉钉，微信等，还需要有相应的SDK适配。prometheusAlert就是这样的SDK，可以将告警消息发送到各种终端上。
prometheus Alert 是开源的运维告警中心消息转发系统，支持主流的监控系统 prometheus，日志系统 Graylog 和数据可视化系统 Grafana 发出的预警消息。通知渠道支持钉钉、微信、华为云短信、腾讯云短信、腾讯云电话、阿里云短信、阿里云电话等。
这里主要是配置飞书告警。

5.2 创建飞书机器人（略）

5.3 安装prometheusAlert

见 《部署prometheusAlert》

5.4 登录prometheusAlert

使用 账户prometheusalert 密码 prometheusalert登录prometheusAlert

6 、修改Alertmanager配置文件

6.1 修改alertmanager.yml

###### 在上述的基础上新加配置
route：
  routes:
    - receiver: 'web.hook'
      group_wait: 10s

  
receivers:
- name: 'web.hook'
  webhook_configs:
  - url: 'http://192.168.92.101:8088/prometheusalert?type=fs&tpl=prometheus-fs&fsurl=xxx'  
# url是prometheus-alert提供的固定格式。其中：
# type=fs表示为飞书
# tpl=prometheus-fs 表示是prometheus消息
# fsurl 为飞书机器人的webhook，就是创建飞书机器人拿到的webhook

最终文件是：

### 进行配置文件修改
global:
  resolve_timeout: 5m #处理超时时间，默认为5分钟
  smtp_from: 'xxx@qq.com'       # smtp_from：指定通知报警的邮箱
  smtp_smarthost: 'smtp.qq.com:25'        # smtp_smarthost: 使用email打开服务配置
  smtp_auth_username: xxx@qq.com'    # smtp_auth_username：邮箱用户名
  smtp_auth_password: xxxxxxxxxxxxj'    # 此处为邮箱授权码

route:
  group_by: ['alertname', 'item']  # 传入报警分组在一起的标签，如item=测试和alertname=Disk的多个报警将批处理为单个组
  group_wait: 30s  # 这个参数设置了在发送第一批警报之后，Alertmanager 等待新警报加入现有组的时间。此处 group_wait 被设置为 30 秒。如果在 30 秒内没有新的警报加入组，那么这个组的警报将被发送出去。
  group_interval: 300s  # 发送组警报的时间间隔
  repeat_interval: 4h  # 对同一个警报组的重复通知之间的时间间隔 对于email配置中，此项不可以设置过低，否则将会由于邮件发送太多频繁，被smtp服务器拒绝
  receiver: 'email'   # 发送警报的接收者的名称，以下receivers name的名称
  routes:
    - receiver: 'web.hook'
      group_wait: 10s  
       
# 定义模板
templates:
 - '/opt/alertmanager/template/*.tmpl'

receivers:

# 配置web.hook
- name: 'web.hook'
  webhook_configs:
  - url: 'http://PrometheusAlert的IP:6080/prometheusalert?type=fs&tpl=prometheus-fs&fsurl=飞书机器人地址'
# url是prometheus-alert提供的固定格式。其中：
# type=fs表示为飞书
# tpl=prometheus-fs 表示是prometheus消息
# fsurl 为飞书机器人的webhook，就是创建飞书机器人拿到的webhook

# 接收邮件的邮箱
- name: 'email'
  email_configs:
  - to: 'xxxxxxxx'

inhibit_rules: # 抑制规则
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance', 'prod']

6.2 配置完成后重启Alertmanager

7、飞书验证

7.1 查看报警

7.2 修改飞书模版的时区问题

 每台机器的时区没有问题，就修改这个模版 加上 GetCSTtime

开始时间：{{ GetCSTtime $v.startsAt}}

完整

{{ $var := .externalURL}}{{ range $k,$v:=.alerts }}{{if eq $v.status "resolved"}}**[Prometheus恢复信息]({{$v.generatorURL}})**
*[{{$v.labels.alertname}}]({{$var}})*
告警级别：{{$v.labels.level}}
开始时间：{{ GetCSTtime $v.startsAt}}
结束时间：{{ GetCSTtime $v.endsAt}} 
故障主机IP：{{$v.labels.instance}}
**{{$v.annotations.description}}**{{else}}**[Prometheus告警信息]({{$v.generatorURL}})**
*[{{$v.labels.alertname}}]({{$var}})*
告警级别：{{$v.labels.level}}
开始时间：{{ GetCSTtime $v.startsAt}}
故障主机IP：{{$v.labels.instance}}
**{{$v.annotations.description}}**{{end}}{{ end }}
{{ $urimsg:=""}}{{ range $key,$value:=.commonLabels }}{{$urimsg =  print $urimsg $key "%3D%22" $value "%22%2C" }}{{end}}[*** 点我屏蔽该告警]({{$var}}/#/silences/new?filter=%7B{{SplitString $urimsg 0 -3}}%7D)

8、 修改告警模板

自定义模板可以在这个网址中找：https://github.com/feiyu563/PrometheusAlert/issues/30

{{ $var := .externalURL}}{{ range $k,$v:=.alerts }}
{{if eq $v.status "resolved"}}
**[Prometheus 恢复通知]({{$v.generatorURL}})**
告警名称：{{$v.labels.alertname}}
告警状态：{{$v.status}}
开始时间：{{TimeFormat $v.startsAt "2006-01-02 15:04:05"}}
结束时间：{{TimeFormat $v.endsAt "2006-01-02 15:04:05"}} 
实例地址：{{$v.labels.instance}}
主机名称：{{$v.labels.hostname}}
**{{$v.annotations.description}}**
{{else}}
**[Prometheus 报警通知]({{$v.generatorURL}})**
告警名称：{{$v.labels.alertname}}
告警状态：{{$v.status}} > {{$v.labels.severity}}
开始时间：{{TimeFormat $v.startsAt "2006-01-02 15:04:05"}}
结束时间：{{TimeFormat $v.endsAt "2006-01-02 15:04:05"}} 
实例地址：{{$v.labels.instance}}
主机名称：{{$v.labels.hostname}}
**{{$v.annotations.description}}**
{{end}}
{{ end }}

总结
以上是邮件和飞书发送告警的配置方法，微信、钉钉等类似。
可以先不配置飞书，先使用邮箱来做测试，等告警的整个流程理解之后再进行飞书等的测试
告警规则可以参考：https://samber.github.io/awesome-prometheus-alerts/rules，并根据自己的需要进行修改
告警信息的模板可以参考：https://github.com/feiyu563/PrometheusAlert/issues/30

9、告警的配置小结

9.1 从prometheus报警去找

从prometheus报警当中去找蓝色区域，就了解到你labels有哪些标签可使用

9.2 从prometheus设置的报警yml文件当中去找 

我使用的是这个，需要与我的报警设置配合

{{ $var := .externalURL}}{{ range $k,$v:=.alerts }}
{{if eq $v.status "resolved"}}
测试环境Prometheus 恢复通知
🟡【告警名称】{{$v.labels.alertname}}
🚨【告警级别】{{ $v.labels.severity}}
✅【告警状态】{{$v.status}}
🧭【开始时间】{{GetCSTtime $v.startsAt}}
🧭【结束时间】{{GetCSTtime $v.endsAt}}
🏷️【命名空间】 {{$v.annotations.serviceName}}
📡 【实例名称】  {{$v.annotations.instance}}
📝【告警详情】  {{$v.annotations.description}};
{{else}}
测试环境Prometheus 告警通知
🟡【告警名称】{{$v.labels.alertname}}
🚨【告警级别】{{ $v.labels.severity}}
🔥【告警状态】{{$v.status}}
🧭【开始时间】{{GetCSTtime $v.startsAt}}
🏷️【命名空间】 {{$v.annotations.serviceName}}
📡 【实例名称】 {{$v.annotations.instance}}
📝【告警详情】  {{$v.annotations.template}};
{{end}}
{{ end }}

春天的菠菜
关注
专栏目录
9-云原生监控体系-Alertmanager-发送管理警报
qq_22648091的博客
09-11 1702
Alertmanager 用于接收 Prometheus 推送的警报信息，并对这些警报信息进行分组、路由、删除重复数据等处理，还可以进一步设置某些警报的静默，抑制等。最后还可以使用 邮件，Webhook 方式等发送通知。下面是一些配置示例，覆盖了最主要的基础配置,这里有完整的配置说明。
【云原生】Prometheus整合Alertmanager告警规则使用详解
congge
07-14 6628
Prometheus整合Alertmanager配置告警规则使用详解
Prometheus（三）：Alertmanager配置，并实现飞书告警
dl_11的博客
03-20 4807
使用 Prometheus 发出警报分为两部分。Prometheus 服务器的告警规则会将告警发送给Alertmanager。然后，Alertmanager 管理这些警报，包括静音、抑制、聚合和 通过电子邮件、随叫随到的通知系统和聊天平台等方法发送通知。设置和配置 Alertmanager配置 Prometheus 与 Alertmanager 通信在 Prometheus 中创建报警规则alertmanager 是告警处理模块，但是告警消息的发送方法并不丰富。
Alertmanager接入钉钉和飞书告警
Real_cTo的博客
05-24 720
如果需要修改告警模版可以参考：https://github.com/feiyu563/PrometheusAlert/issues/30。如果启动异常可能需要添加prometheus用户 useradd promethe。重启Alertmanager，再次模拟mysql down告警。钉钉或者飞书告警需要第三方的webhook插件。配置完成后需要重启Alertmanager。这边模拟一个MYSQL Down的告警。验证：默认启动8060端口。启动dingtalk。
Prometheus实战篇:Alertmanager配置概述及告警规则
helloworld工程师的博客
01-11 2085
全局配置(global) : 用于定义一些全局的公共参数,如全局的SMTP配置,Slack配置等内容;模板(templates) : 用于定义告警通知时的模板,如HTML模板,邮件模板等;告警路由(route) : 根据标签匹配,确定当前告警应该如何处理;接收人(receivers) : 接收人是一个抽象的概念,它可以是一个邮箱也可以是微信,Slack或者Webhook等,接收人一般告警路由使用;抑制规则(inhibit_rules) : 合理设置抑制规则可以减少垃圾告警的产生。
部署Alertmanager对prometheus监控检测飞书报警通知
万物皆可学
06-12 1828
注意：确认你的alertmanager配置的webhook地址是你部署prometheus-webhook-feishu的地址和端口(/data/alertmanager/alertmanager.yml)注意：创建的rules目录是和prometheus.yml配置处于同一级，当然可以根据自身存放的位置修改rule_files指定即可。前面指定了告警目录位置，告警规则文件名称任意放在rules下的所有yml文件都会生效。还有指定你存放的告警配置文件目录，这里指定rules下所有的yml配置文件。
Alertmanager告警数据持久化到MySQL详细配置
L
05-19 1609
Integrations | Prometheus
prometheus + alertmanager + grafana +钉钉告警 动部署包
06-29
- 在 Alertmanager 中配置告警规则和通知渠道，包括钉钉告警的 Webhook。 - 在 Grafana 中配置数据源和仪表板，展示监控数据。 通过这个手动部署包，用户可以在 Kubernetes 集群中快速搭建一套完整的监控告警系统...
Alertmanager 模板配置：自定义告警通知内容
最新发布
TechEnthusiast的博客
08-27 134
提高可读性：默认模板可能缺乏结构，难以快速理解告警的关键信息。增加上下文：自定义模板可以包含更多相关的系统信息，帮助快速定位问题。标准化格式：统一的格式有助于团队更快地解析和响应告警。添加有用链接：可以直接在告警中添加相关文档或仪表板的链接。品牌化：可以根据组织的需求添加特定的品牌元素。
K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
热门推荐
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-08 1万+
🔴 K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
Prometheus配置AlertManager告警
博客
06-14 1034
expr: (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes+node_memory_Buffers_bytes+node_memory_Cached_bytes )) / node_memory_MemTotal_bytes * 100 > 75 # 告警阈值为当内存使用率大于75%告警进入到根route后开始遍历子route节点，如果匹配到，则将告警发送到该子route定义的receiver中，然后就停止匹配了。
Prometheus配置alertmanager告警
weixin_44147924的博客
07-24 566
由于上面配了job_name为jumpserver，登陆此job所属的机器，停掉上面的docker，测试能否告警。可以看到默认提供的 UI 页面，不过现在是没有任何告警信息的，因为我们还没有配置报警规则来触发报警。3、Prometheus添加alertmanager告警规则。将此密码填入上述alertmanager配置文件中。2、配置alertmanager告警。
Prometheus Alertmanager告警配置
weixin_43258559的博客
09-03 423
下载告警安装包 wget https://github.com/prometheus/alertmanager/releases/download/v0.23.0/alertmanager-0.23.0.linux-amd64.tar.gz tar xzvf alertmanager-0.23.0.linux-amd64.tar.gz -C /usr/local/ cd /usr/local mv alertmanager-0.23.0.linux-amd64/ alertmanager cd alertm
Prometheus配置Alertmanager（钉钉告警）
ζั͡山 ั͡有扶苏 ั͡✾的博客
01-04 1306
Alertmanager 主要用于接收 Prometheus 发送的告警信息，它支持丰富的告警通知渠道，例如邮件、微信、钉钉、Slack 等常用沟通工具，而且很容易做到告警信息进行去重，降噪，分组等，是一款很好用的告警通知系统。下图是Alertmanager与Prometheus的基本架构。
Alertmanager告警配置
ArrogantB的博客
07-11 1151
全网最细，掌握alertmanager的配置使用！
Prometheus（7）Pormetheus+ Alertmanager配置飞书警告
учёба
02-11 5064
在之前的博客中，说明了报警的一般步骤前置条件 1 编写Prometheus配置 配置信息： # my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every
prometheus实战之四：alertmanager的部署和配置
程序员欣宸的博客
05-13 3497
配置alertmanager，如此prometheus产生的告警就能通过alertmanager对外发送出去
【2023】Prometheus-Prometheus与Alertmanager配置详解
皮皮的博客
02-09 2221
介绍了Prometheus配置文件讲解，告警规则讲解；Alertmanager配置文件讲解，告警通知讲解
alertmanager短信告警配置
09-29
alertmanager短信告警配置相对比较简单，你可以使用支持电话、短信、邮件、微信多种报警的OpsAlert。你只需要使用WebHook进行配置即可。具体的配置步骤如下： 1. 首先，确保你已经安装了OpsAlert组件，并配置好了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值