Alertmanager邮箱和企业微信的告警模板分享

前言

Prometheus监控功能十分强大，上手很快，而且是轻量级的。监控面板可以通过Grafana来展现，撘过ELK的都明白Kibana绘图是多么费劲，而Grafana社区提供非常丰富的仪表盘模板，引入十分轻松。至于告警可以借助Alertmanager来实现。在此分享一下Alertmanager邮箱和企业微信的告警模板。

效果展现

■ 邮箱

① 告警

② 消警

■ 企业微信

模板

■ 邮箱 —— email.tmpl

{{ define "email.html" }}
{{- if gt (len .Alerts.Firing) 0 -}}
<h2>告警</h2>
<table border="5">
    <tr><td>报警项</td>
        <td>实例</td>
        <td>报警详情</td>
        <td>报警级别</td>
        <td>开始时间</td>
    </tr>
    {{ range $i, $alert := .Alerts }}
        <tr><td>{{ index $alert.Labels "alertname" }}</td>
            <td style="color:#32CD32" >{{ index $alert.Labels "instance" }}</td>
            <td>{{ index $alert.Annotations "description" }}</td>
            <td>{{ $alert.Labels.severity }}</td>
            <td style="color:#FF7F50">{{ $alert.StartsAt.Local.Format "2006-01-02 15:04:05" }}</td>
        </tr>
    {{ end }}
</table>
{{ end }}
{{- if gt (len .Alerts.Resolved) 0 -}}
<h2>已经恢复</h2>
<table border="5">
    <tr><td>报警项</td>
        <td>实例</td>
        <td>报警详情</td>
        <td>报警级别</td>
        <td>开始时间</td>
		<td>恢复时间</td>
    </tr>
    {{ range $i, $alert := .Alerts }}
        <tr><td>{{ index $alert.Labels "alertname" }}</td>
            <td style="color:#32CD32">{{ index $alert.Labels "instance" }}</td>
            <td>{{ index $alert.Annotations "description" }}</td>
            <td>{{ $alert.Labels.severity }}</td>
            <td style="color:#FF7F50">{{ $alert.StartsAt.Local.Format "2006-01-02 15:04:05" }}</td>
            <td style="color:#FF7F50">{{ $alert.EndsAt.Local.Format "2006-01-02 15:04:05" }}</td>
        </tr>
    {{ end }}
</table>
{{ end }}{{- end }}

■ 企业微信 —— wechat.tmpl

{{ define "wechat.message" }}
{{- if gt (len .Alerts.Firing) 0 -}}
{{- range $index, $alert := .Alerts -}}
{{- if eq $index 0 -}}
# 报警项: {{ $alert.Labels.alertname }}
{{- end }}
> `**===告警详情===**` 
> 告警级别: {{ $alert.Labels.severity }}
> 告警详情: <font color="comment">{{ index $alert.Annotations "description" }}{{ $alert.Annotations.message }}</font>
> 故障时间: <font color="warning">{{ $alert.StartsAt.Local.Format "2006-01-02 15:04:05" }}</font>
> 故障实例: <font color="info">{{ $alert.Labels.instance }}</font>
{{- end }}
{{- end }}
{{- if gt (len .Alerts.Resolved) 0 -}}
{{- range $index, $alert := .Alerts -}}
{{- if eq $index 0 -}}
# 恢复项: {{ $alert.Labels.alertname }}
{{- end }}
> `**===恢复详情===**` 
> 告警级别: {{ $alert.Labels.severity }}
> 告警详情: <font color="comment">{{ index $alert.Annotations "description" }}{{ $alert.Annotations.message }}</font>
> 故障时间: <font color="warning">{{ $alert.StartsAt.Local.Format "2006-01-02 15:04:05" }}</font>
> 恢复时间: <font color="warning">{{ $alert.EndsAt.Local.Format "2006-01-02 15:04:05" }}</font>
> 故障实例: <font color="info">{{ $alert.Labels.instance }}</font>
{{- end }}
{{- end }}
{{- end }}

告警规则例子

groups:
- name: node_export_up
  rules:
  - alert: 存在监控节点下线
    expr: up < 1
    for: 10s    # 当一个监控项超过了阀值时，这个告警处于pengding状态，而pending状态维持for秒以后，就会切换为fire状态，也就是将告警信息发送给了alertmanager
    labels:
      severity: 可空闲处理
      action: text
      kind: node_export
    annotations:
      summary: "{{ $labels.instance }} 已停止运行!"
      last: "{{ $value }}"
      description: "{{ $labels.instance }} 检测到异常停止！请及时处理！！！"
- name: redis_up
  rules:
  - alert: redis节点挂了
    expr: redis_up < 1
    for: 10s    # 当一个监控项超过了阀值时，这个告警处于pengding状态，而pending状态维持for秒以后，就会切换为fire状态，也就是将告警信息发送给了alertmanager
    labels:
      severity: 应及时处理
      action: text
      kind: node_export
    annotations:
      summary: "{{ $labels.instance }} 已停止运行!"
      last: "{{ $value }}"
      description: "{{ $labels.instance }} 检测到异常停止！请及时处理！！！"
- name: mysql_up
  rules:
  - alert: mysql挂了
    expr: mysql_up < 1
    for: 10s    # 当一个监控项超过了阀值时，这个告警处于pengding状态，而pending状态维持for秒以后，就会切换为fire状态，也就是将告警信息发送给了alertmanager
    labels:
      severity: 紧急处理
      action: text
      kind: node_export
    annotations:
      summary: "{{ $labels.instance }} 已停止运行!"
      last: "{{ $value }}"
      description: "{{ $labels.instance }} 检测到异常停止！请及时处理！！！"
  - alert: mysql慢sql太多
    expr: rate(mysql_global_status_slow_queries[1m]) > 0.15
    for: 10s    # 当一个监控项超过了阀值时，这个告警处于pengding状态，而pending状态维持for秒以后，就会切换为fire状态，也就是将告警信息发送给了alertmanager
    labels:
      severity: 紧急处理
      action: text
      kind: node_export
    annotations:
      summary: "{{ $labels.instance }} 慢sql太多!"
      last: "{{ $value }}"
      description: "{{ $labels.instance }} 检测到异常！请及时处理！！！"

最后

如此即可实现可观的告警。