promethues监控之alertmanager和grafana配置

一、使用方法

1.alertmanager介绍和安装

Alertmanager 处理客户端应用程序（例如 Prometheus 服务器）发送的警报。它负责对它们进行重复数据删除、分组和路由到正确的接收器集成，包括静音、抑制、聚合和通过电子邮件、待命通知系统和聊天平台等方法发送通知。

docker拉取alertmanager镜像：

docker pull prom/alertmanager:latest

2.alertmanager分组告警规则

官网alertmanager地址：https://github.com/prometheus/alertmanager
介绍的很详细，有兴趣的可以了解一下。
alertmanager.yml文件格式参考：

global:
  # The smarthost and SMTP sender used for mail notifications.
  resolve_timeout: 5m #处理超时时间，默认为5min
  smtp_smarthost: 'smtp.163.com:25' # 邮箱smtp服务器代理
  smtp_from: 'abc@163.com' # 发送邮箱名称
  smtp_auth_username: 'abc@163.com' # 邮箱名称
  smtp_auth_password: '1234567890' # 邮箱密码或授权码
  smtp_require_tls: false

# 定义邮件内容模板
#templates:
#  - '/etc/alertmanager/*.tmpl'

#每个警报都会进入的根路由，根路径不能有任何的匹配，因为它是入口点，所以提醒，不要匹配任何子路由的发送给别人。
route:
  receiver: 'Operations-mails'  #默认分组即所有分组都未匹配到
  group_by: ['hostmonitor', 'wavedetection'] 
  group_wait: 30s  #当传入的警报创建一组新的警报时，至少等待30秒以发送初始通知。这样可以确保您获得该启动同组的多个警报烧成后不久，另一是分批在一起第一通知。
  group_interval: 30s  #
  repeat_interval: 2m  #如果警报已成功发送，等待多久重新发送它们
#以上所有属性都被所有子路由继承，并且可以在每个子路由上覆盖。
  routes:
  - match_re:
      service: ^(foo1|foo2|baz)$
    receiver: Operations-mails

  - match:
      team: Operations
    receiver: Operations-mails

    routes:
    - match:
        severity: critical
      receiver: Operations-supervise-mails

  - match:
      team: Develop
    receiver: Development-mails

    routes:
    - match:
        severity: critical
      receiver: Development-supervise-mails

inhibit_rules:
- source_matchers:
    - severity="critical"
  target_matchers:
    - severity="warning"
  equal: ['hostmonitor', 'wavedetection']


receivers:
- name: 'Operations-mails'
  email_configs:
  - to: 'zacharyzzj@outlook.com'
    #html: '{{ template "test.html" . }}' # 设定邮箱的内容模板
    headers: { Subject: "[WARN1]  运维报警邮件"} # 接收邮件的标题

- name: 'Operations-supervise-mails'
  email_configs:
  - to: 'zacharyzzj@outlook.com'
    headers: { Subject: "[WARN2] 运维报警邮件"} 

- name: 'Development-mails'
  email_configs:
  - to: 'zacharyzzj@outlook.com'
    headers: { Subject: "[WARN3] 开发报警邮件"} 

- name: 'Development-supervise-mails'
  email_configs:
  - to: 'zacharyzzj@outlook.com'
    headers: { Subject: "[WARN4] 开发报警邮件"} 

3.grafana介绍和安装

grafana 是开源可视化和分析软件。它允许您查询、可视化、警报和探索您的指标、日志和跟踪，无论它们存储在哪里。它为您提供了将时间序列数据库 (TSDB) 数据转换为富有洞察力的图表和可视化的工具。与您的团队一起创建、探索和共享漂亮的仪表板。

docker拉取alertmanager镜像：

docker pull grafana/grafana:latest

grafana默认版本中没有一些插件，需要进行安装仪表盘才能正常显示，可以命令行安装，我这边用的是dockfile把插件打包到镜像里面。
Dockerfile文件内容：

FROM grafana/grafana:latest
#WORKDIR /usr/share/grafana  #工作目录
COPY ./grafana.ini /etc/grafana/
#时钟图
Run grafana-cli plugins install grafana-clock-panel
# 饼图
Run grafana-cli plugins install grafana-piechart-panel
# 气泡图
Run grafana-cli plugins install digrich-bubblechart-panel
# worldPing插件
Run grafana-cli plugins install raintank-worldping-app
# json数据
Run grafana-cli plugins install grafana-simple-json-datasource
##zabbix报警
#Run grafana-cli plugins install alexanderzobnin-zabbix-app

总结

安装过程就不过多叙述了，网上一搜一堆，需要考虑到以下几点：

1.alertmanager通过标签匹配发给不同组不同人邮件，需要考虑的是抑制问题，如何避免邮件轰炸问题？
2.grafana也是可以发邮件告警的，又与alertmanager邮件告警区别是什么？