Prometheus 监控域名和consul服务实现alertmanager钉钉告警
1. 目的
详细说明如何配置 Prometheus 监控系统,以监控域名和 Consul 服务,并通过 Alertmanager 实现钉钉告警通知。通过实现这一配置:
- 实时监控关键业务域名和服务的健康状态。
- 在出现问题时及时通过钉钉接收到告警通知,从而快速响应和处理潜在问题。
2. 背景
Prometheus 是一个开源的系统监控和警报工具包,能够收集和存储时序数据,支持丰富的查询语言和强大的告警功能。Alertmanager 是 Prometheus 的告警管理组件,用于处理告警通知、分组和路由。
钉钉是一款企业级通讯工具,提供了强大的通知功能。将 Prometheus 和 Alertmanager 与钉钉集成,可以实现自动化的告警通知,提高故障响应效率。
一般consul报错可能是项目上线时候会报错,所以需要告警到开发,使用邮箱的话就很不方便,使用钉钉告警的消息通知就很方便随时查看,但是网上的帖子在配置上都有很多问题,尤其是自定义模板的时候,这里花了很长的时间调整,也是借鉴的网上其他友友的帖子做的,所以我觉得需要记录一下
3. 配置步骤
3.1 Prometheus 配置
3.1.1 配置域名监控
blackbox-exporter同于监控域名和端口,这个的部署就不写了网上很多很简单现在安装启动就行了
在 Prometheus 配置文件(prometheus.yml
)中添加域名监控的 job 配置:
- job_name: 'blackbox-exporter-http-api'
metrics_path: /probe
params:
module: [http_2xx]
company: [Huaperfect]
valid_http_statuses: []
static_configs:
- targets:
- https://api.aoligei.com #域名按自己需求
relabel_configs: #是 Prometheus 配置中用于调整和重新标记目标(targets)元数据的一个部分。允许你在数据收集和存储之前,修改或者添加标签。
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 172.26.28.140:9115 #最好用内网的
3.1.2 配置 Consul 服务监控
consul的和
在 Prometheus 配置文件中添加 Consul 服务监控的 job 配置:
- job_name: "consul-exporter"
static_configs:
- targets: ["172.26.28.156:9107"]
relabel_configs:
- source_labels: [__address__]
target_label: instance
3.2 Prometheus 告警规则
3.2.1 域名监控告警规则
这块有一个处理,这个api监控的域名是后端接口调用域名没有默认页和默认目录,但是需要监控证书和5xx的服务器端错误,监控指标是随便写的,可以去Prometheus上找一下自己需要的指标,可以使用and或者or
在 Prometheus 告警规则配置文件中添加域名监控的告警规则:
groups:
- name: alertmanager
rules:
- alert: DomainDown
expr: probe_success{job="blackbox-exporter-http-api"} == 502 or probe_success{job="blackbox-exporter-http-api"} == 503
for: 5m
labels:
severity: critical
annotations:
summary: "域名 {{ $labels.instance }} 访问失败"
description: "域名 {{ $labels.instance }} 监控返回失败状态。"
3.2.2 Consul 服务监控告警规则
在 Prometheus 告警规则配置文件中添加 Consul 服务监控的告警规则:
rules:
- alert: consul-exporter-模块严重事故
expr: |
(sum by (node,service_name,status) (consul_health_service_status{status="critical"})) == 1
for: 5s
labels:
severity: 严重
service_name: "{{ $labels.service_name }}"
annotations:
summary: "模块出现严重问题,如没有上线通知,请马上检查!"
3.3 Alertmanager 配置
3.3.1 配置钉钉告警通知
在 Alertmanager 配置文件(alertmanager.yml
)中配置钉钉告警通知:
route:
group_by: ['alertname']
group_wait: 30s
group_interval: 30s
repeat_interval: 12h
receiver: 'dingding.webhook1'
routes:
- receiver: 'dingding.webhook1'
match_re:
alertname: ".*"
receivers:
- name: 'dingding.webhook1'
webhook_configs:
- url: 'http://172.26.28.140:18060/dingtalk/webhook1/send'
send_resolved: true
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']
3.4 dingding插件
我用的是prometheus-webhook-dingtalk-2.1.0.linux-amd64这个版本,这块坑挺多,一点点说,下载:
https://github.com/timonwong/prometheus-webhook-dingtalk/releases/download/v2.1.0/prometheus-webhook-dingtalk-2.1.0.linux-amd64.tar.gz
解压啥的就不写了,注意好存放位置即可,要配置模板
[root@iZ8vbhz31hkz0xo7zsx0e9Z prometheus]# ls
alertmanager black_exporter data download logs prometheus-2.45.4.linux-amd64 prometheus-webhook-dingtalk-2.1.0.linux-amd64 rules tmpl
[root@iZ8vbhz31hkz0xo7zsx0e9Z prometheus]# pwd
/var/prometheus
#这是我组价的存放位置做个参考,tmpl下面就是dingding模板,rules下面是报警规则,日志和数据库就不用说了
[root@iZ8vbhz31hkz0xo7zsx0e9Z prometheus-webhook-dingtalk-2.1.0.linux-amd64]# ls
config.example.yml config.yml contrib LICENSE prometheus-webhook-dingtalk
[root@iZ8vbhz31hkz0xo7zsx0e9Z prometheus-webhook-dingtalk-2.1.0.linux-amd64]# pwd
/var/prometheus/prometheus-webhook-dingtalk-2.1.0.linux-amd64
# 这个config.yml文件是复制的config.example.yml,改个名字就行了,看看里面内容知道都是干啥的就都删除了即可,复制我下面的就行,就是调用模板和机器人的
templates:
- /var/prometheus/tmpl/dingtalk-templates.tmpl
default_message:
#title: '{{ template "legacy.title" . }}'
text: '{{ template "email.to.message" . }}'
targets:
webhook1:
url: https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxbbecxxxxxxxxxxxxxx #添加机器人就看到了
secret: SExxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxa1fa6cxxxxxxxxxx #这个就是机器人的加签秘钥
3.5 告警模板
告警通知模板(email.to.message
)可以根据实际需要进行调整:
{{ define "email.to.message" }}
{{- if gt (len .Alerts.Firing) 0 -}}
{{- range $index, $alert := .Alerts.Firing -}}
<font color=#FF0000>========= **监控告警** ========= </font>
**告警名称:** {{ $alert.Labels.alertname }}
**告警级别:** {{ $alert.Labels.severity | default "未知" }} 级
<br>
{{- if $alert.Labels.service_name }}
**告警资源:** {{ $alert.Labels.service_name }} <!-- 显示 Consul 服务名称 -->#空行别删,要不显示不换行,用<br>也行,这里判断是因为资源显示的域名和consul服务名称的标签不一样,还有其他的也可以在加,总之这个语法很简单,需要啥自己加
{{- else if $alert.Labels.instance }}
**告警资源:** {{ $alert.Labels.instance }} <!-- 显示域名或端口 -->
{{- else }}
**告警资源:** 未知资源
{{- end }}
**告警详情:** {{ $alert.Annotations.summary }}
**故障时间:** {{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
<hr> <!-- 增加分隔符 -->
{{ end }}{{ end }}
{{- if gt (len .Alerts.Resolved) 0 -}}
{{- range $index, $alert := .Alerts.Resolved -}}
<font color=#008000>========= **告警恢复** ========= </font>
<br>
{{- if $alert.Labels.service_name }}
**告警资源:** {{ $alert.Labels.service_name }}
{{- else if $alert.Labels.instance }}
**告警资源:** {{ $alert.Labels.instance }}
{{- else }}
**告警资源:** 未知资源
{{- end }}
**告警名称:** {{ $alert.Labels.alertname }}
**告警级别:** {{ $alert.Labels.severity }}
**故障时间:** {{ ($alert.StartsAt.Add 28800e9).Format "2013-02-02 10:04:05" }}#这时间只是一个格式,不用改
**恢复时间:** {{ ($alert.EndsAt.Add 28800e9).Format "2013-02-02 16:04:05" }}<br>
<hr> <!-- 增加分隔符 -->
{{ end }}{{ end }}
{{ end }}
4. 总结
通过以上步骤,我们完成了 Prometheus 的域名和 Consul 服务监控配置,并实现了 Alertmanager 的钉钉告警通知。这个配置可以确保在域名或 Consul 服务出现问题时,能够及时收到告警通知,并提供详细的告警信息,帮助快速响应和处理问题。