@Grafana告警配置 邮件|钉钉 通知

1.Grafana安装

【grafana 仓库】

#grafana安装包下载
[root@server ~]# wget https://mirrors.tuna.tsinghua.edu.cn/grafana/yum/rpm/grafana-8.0.1-1.x86_64.rpm
[root@server ~]# yum install  grafana-8.0.1-1.x86_64.rpm
[root@server ~]# rpm -ivh grafana-8.0.1-1.x86_64.rpm



#zabbix插件安装
[root@server ~]# grafana-cli plugins install alexanderzobnin-zabbix-app
[root@server ~]# grafana-cli plugins list-remote | grep zabbix
id: alexanderzobnin-zabbix-app version: 4.0.1


#启动grafana服务
[root@server ~]# systemctl start grafana-server.service
[root@server ~]# systemctl enable grafana-server.service

#查看状态
[root@server ~]# systemctl status grafana-server.service
● grafana-server.service - Grafana instance
   Loaded: loaded (/usr/lib/systemd/system/grafana-server.service; disabled; vendor preset: disabled)
   Active: active (running) since Sat 2022-03-19 01:51:43 CST; 15h ago
     Docs: http://docs.grafana.org
 Main PID: 32743 (grafana-server)
    Tasks: 28
   Memory: 90.9M
   CGroup: /system.slice/grafana-server.service
           ├─32743 /usr/sbin/grafana-server --config=/etc/grafana/grafana.ini --pidfile=/var/run/grafana/grafana-server.pid --packaging=rpm cfg:default.paths.logs=/var/log/grafana cfg:defa...
           ├─32752 /var/lib/grafana/plugins/alexanderzobnin-zabbix-app/zabbix-plugin_linux_amd64
           └─32757 /var/lib/grafana/plugins/grafana-image-renderer/plugin_start_linux_amd64

2.Grafana展示（zabbix数据）

zabbix插件安装后，我们就可以获取zabbix监控中的主机信息，可以根据zabbix数据创建grafana监控大屏

3.Grafana告警配置

1》配置邮件告警，先建立SMTP服务器，我们一般直接使用外部的SMTP服务器，如163邮箱、qq邮箱等免费邮箱

2》有两种形式配置邮箱：
第一，我们可以直接在Grafana配置文件里配置SMTP服务器（最方便）
第二，配置系统本身的邮件服务 /etc/mail.rc，在这个配置文件后面设置SMTP服务器配置，这个Grafana发送告警邮件时，需要回来通过它发送高级告警邮件

1）使用Grafana配置邮件告警

#grafana配置邮件告警
通过Grafana告警，配置文件中配置 stmp 服务，配置文件中添加SMTP/Emailing 和 Alerting 模块
[root@server ~]#  vim /etc/grafana/grafana.ini 
........
...
#################################### SMTP / Emailing ##########################
[smtp]
enabled = true
host = smtp.qq.com:465      #使用的邮箱
user = zeny_he@foxmail.com
password = ***********      #使用mail授权码
skip_verify = true
from_address = zeny_he@foxmail.com



#################################### Alerting ############################
[alerting]
enabled = true
execute_alerts = true

..........
......


#重启grafana服务即可
[root@server ~]# systemctl restart grafana-server.service

2）服务器本身邮件服务配置

#系统SMTP邮件的配置  
[root@server ~]# vim /etc/mail.rc
set from=zeny-he@qq.com	        	    #邮件发送者
set smtp=smtps://smtp.qq.com:465    	#邮件服务器地址和端口
set ssl-verify=ignore		      	    #忽略ssl认证
set nss-config-dir=/root/.certs	    	#证书存放路径，自定义
set smtp-auth-user=zeny-he@qq.com	    #登录SMTP的用户名
set smtp-auth-password=**********		#登录SMTP的密码，使用授权码即可
set smtp-auth=login		                #SMTP的认证方式



#创建假证书
[root@server ~]# mkdir -p /root/.certs/   #创建证书目录
[root@server ~]# cd /root/.certs
[root@server ~]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt
[root@server ~]# certutil -A -n “GeoTrust SSL CA” -t “C,” -d ~/.certs -i ~/.certs/qq.crt
[root@server ~]# certutil -A -n “GeoTrust Global CA” -t “C,” -d ~/.certs -i ~/.certs/qq.crt
[root@server ~]# certutil -A -n “GeoTrust SSL CA - G3” -t “Pu,Pu,Pu” -d ~/.certs/./ -i qq.crt



#查看证书文件
[root@server ~]# certutil -L -d /root/.certs 	



#测试邮件发送
[root@server ~]# echo "2022" |mail -s "TEST" zeny_he@foxmail.com




#然后Grafana配置里开启邮件服务
[root@server ~]# vim /etc/grafana/grafana.ini
#################################### SMTP / Emailing ##########################
[smtp]
enabled = true
host = 127.0.0.1:25
user = root

4.Grafana创建告警通道

1）邮件告警模块创建

通道配置完成后，我们可以点击Send Test发送测试邮件，确认配置是否正常

确认配置状态

表示测试成功：

告警通知邮件已发送：

2）钉钉告警模块创建

1》钉钉配置

打开钉钉，选择机器人管理，创建新的机器人管理（告警通知只能配置到群组里）：

配置新创建的机器人接受告警通知：

配置钉钉接受告警的IP地址：

2》Grafana关联钉钉

配置钉钉告警模，选择钉钉类型

测试，如下状态为正常:

测试告警已通知，如下所示：

5.配置Grafana告警监控

1）Grafana展示数据配置

Grafana数据展示配置：

在Alert 选项中，可能会出现了 Template variables are not supported in alert queries 这样的提示信息，意思就是在告警查询中是不支持模板变量，直接使用未设置的·变量的模板即可

配置告警通知：
IS ABOVE ：在什么值以上也就是大于某个值
IS BELOW ：在什么值下面也就是小于某个值
IS OUTSIDE RANGE ：在两个值的范围以外
IS WITHIN RANGE ：在两个值的范围内
HAS NO VALUE ：没有值

告警通知方式配置，测试配置规则，如下：

2）Grafana当前alert

可以看到当前配置的规则已经生效触发（小红心的颜色状态表示当前监控的状态，触发alert规则）：

3）Grafana发送的告警查看

1》邮件通知

安装插件，配置domain，，打开link正常显示Grafana状态：

2》钉钉通知

以下通知方式为link，还可以选择其他通知规则：

如果未设置grafana配置文件domain，选择进入 grafana发送的link，则出现这种状态
（http://localhost:3000/）

如果设置了domain，如vip 192.168..10，则是这种状态
（http://192.168.. 10 :3000/）

设置domain地址，正常显示

【钉钉未显示图像】
因为在邮件告警通知中的图片是通过邮件服务器发送出去的，是一个图片附件，所以可以正常看到，对于钉钉、webhook 这些告警渠道则是直接显示的图片，所以需要设置 external storage 才能进行显示，设置后图片变为一个指向 external_image_storage 中图片地址的链接，如果本机无法访问 external_image_storage 图片是无法显示的，所以如果设置成 local 的时候邮件中的图片可能也不能显示了，因为这个时候是直接一张图片链接。不过 external_image_storage 可设置的 provider 包括 s3、webdav、gcs、azure_blob、local，如果是线上服务的话建议接入对象存储，列如 s3 服务，这里我们使用阿里云 OSS 来配置 s3 进行演示：

#配置Grafana的dimain，展示图像（钉钉）
[root@server ~]# vim /etc/grafana/grafana.ini 
#################################### External image storage ##########################
[external_image_storage]
provider = s3              #使用s3模式

[external_image_storage.s3]
endpoint = oss-cn-beijing.aliyuncs.com
bucket = <bucket>
region = oss-cn-beijing
access_key = <ak>           #使用阿里云后台的ak和sk进行配置
secret_key = <sk>

#################################### Server ####################################
[server]
domain = 192.168.31.46       #设置Grafana访问IP




#配置完成后重启即可
[root@server ~]# systemctl daemon-reload
[root@server ~]# systemctl restart grafana-server

4）Grafana告警图像展示

Grafana通知里面的图形没有展示出来，这个我么就需要安装 grafana-image-renderer 插件，在 Grafana服务器上安装插件即可

#安装Grafana图片渲染组件
[root@server ~]# grafana-cli plugins install grafana-image-renderer
[root@server ~]# systemctl restart grafana-server



#如果未生效插件功能，查看log
[root@server ~]# journalctl -u grafana-server -f



#有问题，继续安装依赖包
[root@server ~]# yum install atk at-spi2-atk libxkbcommon-x11-devel libXcomposite gtk3 -y




#查看图像展示正常，咦，又是字符有问题，咋办，继续安装插件（安装中文字符库，即可正常）
[root@server ~]# yum search wqy