Prometheus - Grafana 安装、备份、Email告警、Pagerduty告警

4.0版本之后，可以告警：https://grafana.com/grafana/download

一、安装，运行：

wget https://dl.grafana.com/oss/release/grafana-7.0.5-1.x86_64.rpm
yum install grafana-7.0.5-1.x86_64.rpm

service  grafana-server  start 
service  grafana-server  status

安装邮件告警图形插件,非常重要：

图形渲染插件：

yum -y install libatk-bridge* libXss*  libgtk*

命令行直接执行：grafana-cli plugins install grafana-image-renderer

二、访问

http://192.168.168.11:3000/login

初始用户、密码：admin admin

初始化密码：123.com

三、设置数据源、连接prometheus、创建仪表盘

随便点点得了，找其他文档把，这Grafana操作非常简单，实在不想截图了

四、备份导出、导入

找到自己创建好的 仪表板

找到 JSON Model ，这个 JSON 就是此仪表板的配置文件形式，Grafana支持将 json 导入还原成 dashboard

将其复制出来，以 .json 的格式复制到本地，然后将仪表板删掉，不能恢复同名的

五、Grafana 报警

1. 通过 Exporter / pushgateway 在被监控端提取数据，并将数据提供给 prometheus
2. 由 prometheus 查询功能对 数据进行采集，并发送给 Grafana
3. 在Grafana 仪表板上成图，并设置报警阈值，连接专业的报警平台(Pagerduty商业)
4. 最后管理员接收到报警信息

Ⅰ、Pagerduty 告警

1、新建一个报警平台连接渠道 （Alerting Channel）

需要在 Pagerduty 平台 获取 Intergration Key，是一串编码，作为让其他软件连接到自己的认证码

Pagerduty编码获取：https://blog.csdn.net/shm19990131/article/details/107199018

然后创建 Alerting 告警规则


Save 保存之后， Pagerduty 就可以 和 Grafana 进行连接。

2、为仪表板添加报警规则

回到 仪表板编辑页面，设置 Alert 告警规则

如下图，设置 Alert。

• Name：告警的名称 Evaluate every：
• Conditions：触发告警的条件
  • max() 触发告警的算法，最高值报警
  • OF：用的是哪一个查询语句，A:监控图A，5m：评估曲线图的时间间隔，从当前时间向之前的数值推进5分钟，查看5分钟之内的告警阈值。(一般设置1分钟)
  • IS ABOVE：超出 ，设置具体的监控阈值
  • IS BELOW：低于，设置具体的监控阈值
  • IS OUTSIDE RANGE：范围之外，具体的监控阈值
  • IS WITHIN RANGE：范围之内，具体的监控阈值

• Notifications：
  • Send to ： 采用哪个 Alter Channel 进行告警
  • Message：告警摘要信息
  • State history：查看有哪些机器到达了告警阈值，查看到达阈值的历史记录
  • Test rule：测试，根据曲线图进行实际的评估，检测服务器是否存在到达阈值

3、接收告警信息的效果

Pagerduty 接收到的告警信息

因为 pagerduty 设置了邮箱、手机、短信。所以这个告警内容会以这三种方式为管理员提供告警信息

Ⅱ、Email 邮件告警

修改 grafana.ini(defaults.ini) 配置文件

/usr/share/grafana Grafana根目录

RPM 安装获取 Grafana根目录的方法：rpm -ql granafa

vim conf/defaults.ini 修改配置文件

[smtp]			
enabled = true				#开启 smtp 邮件告警
host = smtp.163.com:25			#设置 163邮箱域名地址，25非安全加密端口，465安全加密端口
user = shm1136265636@163.com	#163邮箱的登录账号
password = FCFXJUPZFTHHXCRK		#163邮箱的 SMTP 授权密码
cert_file =				
key_file =				
skip_verify = true				
from_address = shm1136265636@163.com	# 163邮箱的登录账号
from_name = Grafana						
ehlo_identity = hello

service grafana-server restart 重启Grafana

当你将问题解决之后：