Grafana配置邮件告警

1. 配置SMTP发送邮件

2. 

   

3. Grafana配置SMTP账户

   vim /etc/grafana/grafana.ini
   #第522行修改smtp配置，所有修改配置前 ; 注释符号需要取消，将对应行，改为以下内容：
   [smtp]
   enabled = true                 #启用smtp
   host = smtp.qq.com:465        #qq smtp服务地址
   user = 1097****837@qq.com   #qq邮箱用户名
   # If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
   password = **********      #授权密码
   from_address = 1097****837@qq.com  #邮件From地址，和登录用户一致即可。
   #修改完邮件配置后修改domain信息，邮件内容中包含Grafana的访问地址，默认地址为localhost
   改：
   41 ;domain = localhost
   为：
   41 domain = 172.16.XXX.XXX

   

4. 检查邮件服务是否配置成功，添加告警频道。
   取任意名称，选择Email发送，填写收件人地址即可发送测试邮件。Include image需要手动勾选，这样发送邮件时才会附带监控图表信息。新版本中默认不勾选，因为需要安装插件。

   

   
   测试成功之后点击保存。

   

5. 打开邮箱

   

   
   可以看到测试邮件

   

6. 自定义监控项与告警规则
   配置图片渲染功能

   #安装grafana-image-renderer
   grafana-cli plugins install grafana-image-renderer
   #安装截图需要的依赖库，不装捕获不到图片
   yum -y install libatk-bridge* libXss* libgtk*
   #修改配置文件，防止中文乱码
   vim /etc/grafana/grafana.ini
   #修改以下内容
   rendering_language = zh

   

   
   配置告警，回到仪表盘进行操作。

   

   
   左上角点击panel，添加新的

   

    

   

   
   修改标题

   

   
   输入
   (1- ((sum(increase(node_cpu_seconds_total{mode="idle"}[30s])) by(instance)) / (sum(increase(node_cpu_seconds_total[30s])) by(instance))))*100

   

   
   添加告警

   

   
   配置告警规则。
   mgr_node1-CPU使用率报警.
   默认检测时间为1m5m,修改为30s1m，30秒检测一次是否满足告警条件，如果满足则进入pending状态，1分钟后如果依旧满足条件则发送告警。
   告警条件：avg取10s平均值，平均值高于50则满足告警条件，这个里取值时间看实际情况，这里设置10s是为了更快收到邮件。
   send to 指定邮件接收者，自定义邮件内容。

   

   
   保存配置，并应用。

   

7. 压力测试触发告警

   #安装压力测试工具
   yum install -y epel-release
   yum install -y stress

   对CPU进行压力测试。本机分配了8核心CPU，我们的监控指标配置的是超过50%告警，则需要将超过半数的CPU资源耗尽，所以-c参数大于虚拟机中CPU核心数量的一半即可。

   stress -c 7

   新建终端窗口使用top命令查看系统负载
   top
   查看状态信息，可以看到pending和发送邮件间隔了1分钟。

   

    

   

   
   查看邮箱

   

   
   看到有提醒

   

   
   Ctrl+C关闭压力测试工具
   等待平均负载指标下来后就会收到恢复邮件。