Prometheus运维五 实现报警功能(邮件报警，企业微信报警，Slack报警，钉钉报警)

目前官方内置的第三方通知集成包括：邮件、 即时通讯软件（如Slack、Hipchat）、移动应用消息推送(如Pushover)和自动化运维工具（例如：Pagerduty、Opsgenie、Victorops）。Alertmanager的通知方式中还可以支持Webhook，通过这种方式开发者可以实现更多个性化的扩展支持。

在Alertmanager中路由负责对告警信息进行分组匹配，并将像告警接收器发送通知。告警接收器可以通过以下形式进行配置：

receivers:
  - <receiver> ...

每一个receiver具有一个全局唯一的名称，并且对应一个或者多个通知方式：

name: <string>
email_configs:
  [ - <email_config>, ... ]
hipchat_configs:
  [ - <hipchat_config>, ... ]
pagerduty_configs:
  [ - <pagerduty_config>, ... ]
pushover_configs:
  [ - <pushover_config>, ... ]
slack_configs:
  [ - <slack_config>, ... ]
opsgenie_configs:
  [ - <opsgenie_config>, ... ]
webhook_configs:
  [ - <webhook_config>, ... ]
victorops_configs:
  [ - <victorops_config>, ... ]

1.Alertmanager 集成邮件告警

邮箱应该是目前企业最常用的告警通知方式，Alertmanager内置了对SMTP协议的支持，因此对于企业用户而言，只需要一些基本的配置即可实现通过邮件的通知。
在Alertmanager使用邮箱通知，用户只需要定义好SMTP相关的配置，并且在receiver中定义接收方的邮件地址即可。在Alertmanager中我们可以直接在配置文件的global中定义全局的SMTP配置：

global:
  [ smtp_from: <tmpl_string> ]
  [ smtp_smarthost: <string> ]
  [ smtp_hello: <string> | default = "localhost" ]
  [ smtp_auth_username: <string> ]
  [ smtp_auth_password: <secret> ]
  [ smtp_auth_identity: <string> ]
  [ smtp_auth_secret: <secret> ]
  [ smtp_require_tls: <bool> | default = true ]

完成全局SMTP之后，我们只需要为receiver配置email_configs用于定义一组接收告警的邮箱地址即可，如下所示：

name: <string>
email_configs:
  [ - <email_config>, ... ]

每个email_config中定义相应的接收人邮箱地址，邮件通知模板等信息即可，当然如果当前接收人需要单独的SMTP配置，那直接在email_config中覆盖即可：

[ send_resolved: <boolean> | default = false ]
to: <tmpl_string>
[ html: <tmpl_string> | default = '{
   { template "email.default.html" . }}' ]
[ headers: {
    <string>: <tmpl_string>, ... } ]

如果当前收件人需要接受告警恢复的通知的话，在email_config中定义send_resolved为true即可。

如果所有的邮件配置使用了相同的SMTP配置，则可以直接定义全局的SMTP配置。

以Gmail邮箱为例，我们定义了一个全局的SMTP配置，并且通过route将所有告警信息发送到default-receiver中:

global:
  smtp_smarthost: smtp.gmail.com:587
  smtp_from: [email protected]
  smtp_auth_username: [email protected]
  smtp_auth_identity: [email protected]
  smtp_auth_password: xxxxxx

route:
  group_by: ['alertname']
  receiver: 'default-receiver'

receivers:
  - name: 'default-receiver'
    email_configs:
      - to: [email protected]
        send_resolved: true

注意：新的Google账号安全规则需要使用”应用专有密码“作为邮箱登录密码
手动拉高主机CPU使用率，使得监控样本数据满足告警触发条件。在SMTP配置正确的情况下，可以接收到如下的告警内容：

使用163邮箱报警示例:

global:
  smtp_smarthost: 'smtp.163.com:25'
  smtp_from: '[email protected]'
  smtp_auth_username: '[email protected]'
  smtp_auth_password: 'xxxxx'	# 这里是邮箱的授权密码
  smtp_require_tls: false

templates:
  - '/alertmanager/template/*.tmpl'

route:
  group_by: ['alertname','cluster','service']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 10m
  receiver: 'default-receiver'

receivers:
- name: 'default-receiver'
  email_configs:
  - to: '[email protected]'
    html: '{
   { template "alert.html" . }}'
    headers: {
    Subject: "Prometheus 告警测试邮件" }

smtp_smarthost：是用于发送邮件的邮箱的 SMTP 服务器地址+端口；
smtp_auth_password：是发送邮箱的授权码而不是登录密码；
smtp_require_tls：不设置的话默认为 true，当为true 时会有 starttls 错误，为了简单这里设置为 false；
templates：指出邮件的模板路径；
receivers 下html 指出邮件内容模板名，这里模板名为 “alert.html”，在模板路径中的某个文件中定义。
headers：为邮件标题；

mkdir -pv /alertmanager/template/
vim /alertmanager/template/alert.tmpl
#编写邮件模板,注意：文件后缀为 tmpl
#示例：
<table>
    <tr><td>报警名</td><td>开始时间</td></tr>
        <tr><td></td><td></td></tr>
</table>

$ systemctl restart alertmanager.service
$ systemctl status alertmanager.service
$ ss -tnl|grep 9093

2.Alertmanager 集成企业微信告警

官方帮助说明文档：https://prometheus.io/docs/alerting/latest/configuration/#wechat_config
企业微信API说明文档：https://work.weixin.qq.com/api/doc/90000/90135/90665

企业微信的相关配置说明

# Whether or not to notify about resolved alerts.
[ send_resolved: <boolean> | default = false ]

# The API key to use when talking to the WeChat API.
[ api_secret: <secret> | default = global.wechat_api_secret ]

# The WeChat API URL.
[ api_url: <string> | default = global.wechat_api_url ]

# The corp id for authentication.
[ corp_id: <string> | default = global.wechat_api_corp_id ]

# API request data as defined by the WeChat API.
[ message: <tmpl_string> | default = '{
   { template "wechat.default.message" . }}' ]
[ agent_id: <string> | default = '{
   { template "wechat.default.agent_id" . }}' ]
[ to_user: <string> | default = '{
   { template "wechat.default.to_user" . }}' ]
[ to_party: <string> | default = '{
   { template "wechat.default.to_party" . }}' ]
[ to_tag: <string> | default = '{
   { template "wechat.default.to_tag" . }}' ]<