Grafana监控告警发送通知到钉钉群、邮件

最新推荐文章于 2024-09-19 15:23:04 发布

dandanfengyun

最新推荐文章于 2024-09-19 15:23:04 发布

阅读量9.4k

点赞数 3

分类专栏：云计算文章标签： docker grafana 负载均衡

本文链接：https://blog.csdn.net/dandanfengyun/article/details/115239013

版权

本文详细介绍了如何在Grafana中配置监控告警通知，包括设置grafana配置文件以设置domain为虚拟IP，配置钉钉和邮件警告通知，设置Alert Rules，以及在警告通知中包含图片。此外，还讨论了在单个和多个节点下grafana的警告设置，特别是如何确保grafana-image-render容器的高可用性。

摘要由CSDN通过智能技术生成

docker部署的grafana容器。主要是监控kolla部署下OpenStack的虚拟机和宿主机的状态警告。

设置相应的监控dashboard
https://blog.csdn.net/dandanfengyun/article/details/114540296

一、配置grafana配置文件。

如192.168.199.91,192.168.199.92两个计算节点
VIP为192.168.199.90

grafana 配置文件修改不管是 Email方式还是DingDing方式。
警报通知中会包含一个URL地址,通过该URL访问到grafana，配置文件中server段未设置root_url,默认

root_url = %(protocol)s://%(domain)s:%(http_port)s/

这样才能通过发送的notification通知打开grafana，默认的domain=localhost，所以默认情况下如果接收到警告的主机点击警告通知访问到的网址是http://localhost:3000，是无法访问到grafana的，所以需要设置domain为vip，这样才能通过警告通知点击访问grafana。

设置domain为虚拟IP。

mkdir -p /etc/kolla/config/grafana

mkdir /etc/kolla/config/grafana/compute-1
mkdir /etc/kolla/config/grafana/compute-2

多个宿主机grafana配置文件区别只在于server段的设置。其他的设置如[paths]，[database]，[session]，[analytics]，[security] 等设置是一样的。

http_addr 	本机的IP地址
http_port 	本机grafana的访问端口 默认3000
domain 		此处需要设置为 虚拟IP，因为设置虚拟IP后
		root_url=http://vip:3000，通过警告通知可以访问到grafana。

复制配置文件到config

cp /etc/kolla/grafana/grafana.ini /etc/kolla/config/grafana/compute-1/
cp /etc/kolla/grafana/grafana.ini /etc/kolla/config/grafana/compute-2/

compute-1主机设置

vim /etc/kolla/config/grafana/compute-1/grafana.ini

[server]
protocol = http
http_addr = 192.168.199.91
http_port = 3000
router_logging = true
static_root_path = public
enable_gzip = false
domain = 192.168.199.90

[alerting]
enabled = true
execute_alerts = true

compute-2主机设置

vim /etc/kolla/config/grafana/compute-2/grafana.ini

[server]
protocol = http
http_addr = 192.168.199.92
http_port = 3000
router_logging = true
static_root_path = public
enable_gzip = false
domain = 192.168.199.90

[alerting]
enabled = true
execute_alerts = true

[alerting] 段可以不用设置。因为和未设置时默认的设定一致。

kolla加载使grafana 配置修改生效。

kolla-ansible reconfigure -i /etc/kolla/multinode

二、设置notification。

虽然有多个grafana节点，但是每个节点数据保存都是在同一个mysql数据库中，包括data source,dashboard和alert notification。所以，不用担心多个grafana也同时发送多个同样的警告通知。

警告通知的设置。在监控告警时选择以何种警告通知的方式将警告发送出去，如邮件，钉钉。可以选择多个警告通知方式。

1.钉钉警告通知设置

在grafana设置前，需要在钉钉群里设置一个自定义机器人。

选择一个要发送警告通知的群。点击右上角群设置选项。
点击群设置
智能群助手-添加机器人

选择自定义。
可以设置机器人名字，添加到群组，以及安全设置。可以设置为

机器人设置

安全设置有三种方式，关键词，加签，设置IP段。可以选择一种，此处选择IP段的方式。

https://developers.dingtalk.com/document/app/custom-robot-access?spm=ding_open_doc.document.0.0.6d9d28e1i3hLoA

注，此处设置的IP段必须是公网IP，设置局域网IP是无效的。

设置完成，便可以得到一个webhook，通过此webhook即可使用该机器人
webhook
可以测试一下使用。将access_token设置为webhook后测试一下钉钉群有没有收到消息。

curl 'https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxx' \
   -H 'Content-Type: application/json' \
   -d '{"msgtype": "text","text": {"content": "我就是我, 是不一样的烟火"}}&#