前言
在一个监控系统中,如果说数据链路是她的骨架,那么告警通知服务就是他的灵魂!所有的监控服务都是为了能够及时通知出来,减少人工查询状态,及时发现问题,避免不必要的大规模故障,为企业政府省钱,和保证安全而存在的。
所以能发现问题很重要,更重要的是发现问题赶快让人知道,这就是今天要说的,告警通知服务。
一个开源项目PrometheusAlert
这个项目可以给 很多第三方服务对接 ,进行电话 、短信 等告警方式 ,也是我们要用到的 ,先部署起来。
部署方式参考项目中README.md
的部署方式
那一节,要注意的是 ,他的配置文件必须在二进制文件的当前目录,conf/app.conf
叫这个名字才会读取。
原因是用到beego
框架 ,默认读取这个位置的配置文件,如果没有符合的二进制文件,可以自己编译。
GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go
GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=arm64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxArm64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go
GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertMacAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go
根据go
语言的特性,需要创建一个项目,然后在src
目录下放这个项目再编译。比如我创建的项目就叫monitor_alert
部署结束以后保存这个项目链接,这里是我在docker
里启动得到的链接http://172.17.0.3:8080
Prometheus告警服务对接
首先你得先搭建起来一整套的Prometheus
,像上图一样,如果你还没有搭建起来可以看看我之前的文章 这就是Prometheus。
安装alertmanager
告警服务(prometheus常用的告警服务)
-
创建
alertmanager.yaml
global: resolvetimeout: 5m route: groupby: ['instance'] groupwait: 10m groupinterval: 10s repeat_interval: 10m receiver: 'web.hook.prometheusalert' receivers:
- name: 'web.hook.prometheusalert' webhook_configs:
- url: 'http://172.17.0.3:8080/prometheus/alert'
这个配置文件里打开了webhook
服务,产生告警的时候会自动调用该api
,这个api
可以自己定制,我的链接就是上一节部署的服务url,http://172.17.0.3:8080/prometheus/alert
。
- 启动
alertmanager
使用docker启动,把刚刚创建配置文件挂载上去,暴露端口9093
(默认)
docker run -d -p 9093:9093 -v ~/Documents/code/docker/prometheus/alertmanager.yaml:/etc/alertmanager/alertmanager.yml --name alertmanager prom/alertmanager:latest
启动效果:
可以在Status
里看到你刚刚的webhook
配置内容
增加prometheus
与告警相关的配置文件。
-
创建
prometheus.rules.yml
文件groups:
- name: node_alert rules:
- alert: 主机CPU告警 expr: node_load1 > 0.01 labels: name: prometheusalertcenter level: 3 annotations: description: "{{ $labels.instance }} CPU load占用过高" mobile: 176xxxxxxxx
- name: node_alert rules:
-
启动prometheus
用docker
启动
docker run -d -p 9090:9090 -v ~/Documents/code/docker/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml -v ~/Documents/code/docker/prometheus/prometheus.rules.yml:/etc/prometheus/prometheus.rules.yml --name prometheus-server prom/prometheus
注意了prometheus.yml
的配置文件是参考这篇文章 这就是Prometheus。
prometheus.rules.yml
就是刚刚的文件。
启动效果:
看,这里产生告警,你可以修改自己的告警阀值,我这里设置的大于1%就告警所以立马就告警出来了。
稍后短信就出来了。
基于granfna告警对接
- 新建告警通道
Name任意,Type选webhook,Url配置为 http://172.17.0.3:8080/grafana/txdx
,其中的ip就是刚刚安装了prometheus_alert
服务的ip。
搞定以后选Save保存。
- 配置各指标的告警规则
进入面板编辑各个指标
可以先把阀值设置低一些,测试短信发送
加号选中你刚刚设置的告警通道,message 可不写,会自动查询grafana
得到告警情况。
右上角保存
怎么对接到腾讯云短信平台?
服务器出网调用腾讯云短信服务,采用加密传输
方式。
采用SDKAppID 和 AppKey 作为安全密钥,同时需要短信签名和模板,具体加密方式见腾讯云公有云短信服务加密方式
怎么申请
短信服务开通可以访问 腾讯云短信服务,初始会免费赠送100条 。
短信条数不够可以访问购买短信包网页
对接准备
1、申请 SDK AppID 以及 App Key: 在开始本教程之前,您需要先获取 SDK AppID 和 App Key,如您尚未申请,请到 短信控制台 中添加应用。应用添加成功后您将获得 SDK AppID 以及 App Key。
注意: SDK AppID 是以 14xxxxx 开头。
2、申请签名: 下发短信必须携带签名,您可以在 短信控制台 中
注意,假如是政府机关在这里需要选择,然后提交资料,其他就按照自己的实际情况填写就好。
3.、申请模板: 下发短信内容必须经过审核,您可以在短信控制台中申请短信模板
完成以上三项就会拿到appid
,appkey
,模板 id
,你的签名
,四个东西,便可开始填入刚刚的开源项目配置文件,或者自己进行代码开发。
如果喜欢用API
可以参考 文档
开始对接
进入你部署的prometheus_alert
配置 目录,例如xxx/prometheus_alert/conf/
目录,编辑app.conf
文件
找到defaultphone=176xxxxxxxx,123123123
修改为你要的手机号,可以是单个也可以是多个,多个要用英文半角逗号隔开
修改以下配置open-txdx
为1表示打开腾讯云短信告警
open-txdx=1
TXY_DX_appkey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TXY_DX_tpl_id=54xxxx
TXY_DX_sdkappid=140032xxxx
TXY_DX_sign=你的[腾讯云](https://l.gushuji.site/tencent)短信平台签名
重启服务使配置生效即可。