Python编写告警信息，整合Alertmanager告警

已于 2022-07-06 11:07:38 修改
阅读量1.5k 收藏 6
点赞数 2
分类专栏： Python学习 文章标签： python flask 开发语言
于 2022-07-05 14:28:36 首次发布
未经本人允许，禁止转载，谢谢合作 南宫乘风
本文链接：https://blog.csdn.net/heian_99/article/details/125618555
版权

 Alertmanager告警 系统整合

流程

（1）监控端，可以使用Python 或者 shell 进行监控，把 相关的json数据推送到Alertmanager

（2）Alertmanager端 进行 汇总，发送，后续可以静默，抑制等功能

（3）把告警的数据发送到prometheusalert，进行钉钉的发送

环境

软件

prometheusalert 告警系统 ：主要是数据的各个渠道发送

Alertmanager 告警处理：主要汇总数据，抑制，静默

思路

编写告警测试数据时，我们可以不用生成时间，仅生成相关的告警指标，时间程序会帮忙生成（待测试）

步骤

获取Alertmanager数据格式

方法，通过flask 编写接口，Alertmanager配置，告警时回把数据发送到此接口 ，进行展示查看

from flask import Flask, request
import json

app = Flask(__name__)


@app.route("/send/", methods=["POST"])
def send():
    try:
        data = json.loads(request.data)
        print(data)
        alerts = data['alerts']
        for i in alerts:
            print('SEND SMS: ' + str(i))
    except Exception as e:
        print(e)
    return 'ok'


if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8082)

在Alertmanager配置

[root@prometheus-server alertmanager-0.24.0.linux-amd64]# cat alertmanager.yml
global:
  resolve_timeout: 5m
route:
  group_by: ['instance']
  group_wait: 30s
  group_interval: 10s
  repeat_interval: 10m
  receiver: 'web.hook.prometheusalert'
receivers:
- name: 'web.hook.prometheusalert'
  webhook_configs:
   - url: http://192.168.96.19:8082/send/

产生prometheus的测试数据

关闭客户端，产生告警 

告警数据

{
	'receiver': 'web\\.hook\\.prometheusalert',
	'status': 'firing',
	'alerts': [{
		'status': 'firing',
		'labels': {
			'alertname': '主机存活状态警告！',
			'cloud': '乘风-Dev环境',
			'instance': '192.168.82.105:9100',
			'job': 'node_exporter',
			'severity': '非常严重',
			'team': 'ops'
		},
		'annotations': {
			'description': '192.168.82.105:9100:服务器延时超过5分钟',
			'summary': '192.168.82.105:9100:服务器宕机'
		},
		'startsAt': '2022-07-05T05:54:37.452Z',
		'endsAt': '0001-01-01T00:00:00Z',
		'generatorURL': 'http://prometheus-server.0101101300.fjf:9090/graph?g0.expr=up+%3D%3D+0&g0.tab=1',
		'fingerprint': '4a890f7c225c3bef'
	}],
	'groupLabels': {
		'instance': '192.168.82.105:9100'
	},
	'commonLabels': {
		'alertname': '主机存活状态警告！',
		'cloud': '乘风-Dev环境',
		'instance': '192.168.82.105:9100',
		'job': 'node_exporter',
		'severity': '非常严重',
		'team': 'ops'
	},
	'commonAnnotations': {
		'description': '192.168.82.105:9100:服务器延时超过5分钟',
		'summary': '192.168.82.105:9100:服务器宕机'
	},
	'externalURL': 'http://prometheus-server.0101101300.fjf:9093',
	'version': '4',
	'groupKey': '{}:{instance="192.168.82.105:9100"}',
	'truncatedAlerts': 0
}

有用的告警数据

{
		'status': 'firing',
		'labels': {
			'alertname': '主机存活状态警告！',
			'cloud': '乘风-Dev环境',
			'instance': '192.168.82.105:9100',
			'job': 'node_exporter',
			'severity': '非常严重',
			'team': 'ops'
		},
		'annotations': {
			'description': '192.168.82.105:9100:服务器延时超过5分钟',
			'summary': '192.168.82.105:9100:服务器宕机'
		},
		'startsAt': '2022-07-05T05:54:37.452Z',
		'endsAt': '0001-01-01T00:00:00Z',
		'generatorURL': 'http://prometheus-server.0101101300.fjf:9090/graph?g0.expr=up+%3D%3D+0&g0.tab=1',
		'fingerprint': '4a890f7c225c3bef'
	}

恢复数据

{
	'receiver': 'web\\.hook\\.prometheusalert',
	'status': 'resolved',
	'alerts': [{
		'status': 'resolved',
		'labels': {
			'alertname': '主机存活状态警告！',
			'cloud': '乘风-Dev环境',
			'instance': '192.168.82.105:9100',
			'job': 'node_exporter',
			'severity': '非常严重',
			'team': 'ops'
		},
		'annotations': {
			'description': '192.168.82.105:9100:服务器延时超过5分钟',
			'summary': '192.168.82.105:9100:服务器宕机'
		},
		'startsAt': '2022-07-05T05:54:37.452Z',
		'endsAt': '2022-07-05T05:56:52.452Z',
		'generatorURL': 'http://prometheus-server.0101101300.fjf:9090/graph?g0.expr=up+%3D%3D+0&g0.tab=1',
		'fingerprint': '4a890f7c225c3bef'
	}],
	'groupLabels': {
		'instance': '192.168.82.105:9100'
	},
	'commonLabels': {
		'alertname': '主机存活状态警告！',
		'cloud': '乘风-Dev环境',
		'instance': '192.168.82.105:9100',
		'job': 'node_exporter',
		'severity': '非常严重',
		'team': 'ops'
	},
	'commonAnnotations': {
		'description': '192.168.82.105:9100:服务器延时超过5分钟',
		'summary': '192.168.82.105:9100:服务器宕机'
	},
	'externalURL': 'http://prometheus-server.0101101300.fjf:9093',
	'version': '4',
	'groupKey': '{}:{instance="192.168.82.105:9100"}',
	'truncatedAlerts': 0
}

有用的恢复数据

{
		'status': 'resolved',
		'labels': {
			'alertname': '主机存活状态警告！',
			'cloud': '乘风-Dev环境',
			'instance': '192.168.82.105:9100',
			'job': 'node_exporter',
			'severity': '非常严重',
			'team': 'ops'
		},
		'annotations': {
			'description': '192.168.82.105:9100:服务器延时超过5分钟',
			'summary': '192.168.82.105:9100:服务器宕机'
		},
		'startsAt': '2022-07-05T05:54:37.452Z',
		'endsAt': '2022-07-05T05:56:52.452Z',
		'generatorURL': 'http://prometheus-server.0101101300.fjf:9090/graph?g0.expr=up+%3D%3D+0&g0.tab=1',
		'fingerprint': '4a890f7c225c3bef'
	}

Python发送告警数据

发送告警信息

import json
import requests

new_packinf = [{
		'status': 'firing',
		'labels': {
			'alertname': '主机存活状态警告！',
			'cloud': '乘风小贷-Dev环境',
			'instance': '192.168.82.105:9100',
			'job': 'node_exporter',
			'severity': '非常严重',
			'team': 'ops'
		},
		'annotations': {
			'description': '192.168.82.105:9100:服务器延时超过5分钟',
			'summary': '192.168.82.105:9100:服务器宕机'
		},
		'startsAt': '2022-07-05T05:54:37.452Z',
		'endsAt': '0001-01-01T00:00:00Z',
		'generatorURL': 'http://prometheus-server.0101101300.fjf:9090/graph?g0.expr=up+%3D%3D+0&g0.tab=1',
		'fingerprint': '4a890f7c225c3bef'
	}]
jsons = json.dumps(new_packinf)
url = "http://192.168.82.105:9093/api/v2/alerts"
headers = {'Content-Type': 'application/json'}
responses = requests.post(url=url, headers=headers, data=jsons)
print(responses.status_code, responses.url)
# print(responses.json())

 

 发送恢复告警信息

import json
import requests

new_packinf = [{
		'status': 'resolved',
		'labels': {
			'alertname': '主机存活状态警告！',
			'cloud': '乘风-Dev环境',
			'instance': '192.168.82.105:9100',
			'job': 'node_exporter',
			'severity': '非常严重',
			'team': 'ops'
		},
		'annotations': {
			'description': '192.168.82.105:9100:服务器延时超过5分钟',
			'summary': '192.168.82.105:9100:服务器宕机'
		},
		'startsAt': '2022-07-05T05:54:37.452Z',
		'endsAt': '2022-07-05T05:56:52.452Z',
		'generatorURL': 'http://prometheus-server.0101101300.fjf:9090/graph?g0.expr=up+%3D%3D+0&g0.tab=1',
		'fingerprint': '4a890f7c225c3bef'
	}]
jsons = json.dumps(new_packinf)
url = "http://192.168.82.105:9093/api/v2/alerts"
headers = {'Content-Type': 'application/json'}
responses = requests.post(url=url, headers=headers, data=jsons)
print(responses.status_code, responses.url)
# print(responses.json())

 

import json
import requests
import time

year_time = time.strftime('%Y-%m-%d', time.localtime())
now_time = time.strftime('%H:%M:%S', time.localtime())
start_time = year_time + "T" + now_time + ".000+08:00"
is_end_time = False
if is_end_time:
    print("告警未解决")
    end_time = '0001-01-01T00:00:00Z'
else:
    print("告警已经解决")
    end_time = start_time
new_packinf = [{
    'labels': {
        'alertname': '主机存活状态警告！',
        'cloud': '小贷-Dev环境',
        'instance': '192.168.82.105:9100',
        'job': 'node_exporter',
        'severity': '非常严重',
        'team': 'ops'
    },
    'annotations': {
        'description': '192.168.82.105:9100:服务器延时超过5分钟',
        'summary': '192.168.82.105:9100:服务器宕机'
    },
    'endsAt': end_time,
}]
jsons = json.dumps(new_packinf)
url = "http://192.168.82.105:9093/api/v2/alerts"
headers = {'Content-Type': 'application/json'}
responses = requests.post(url=url, headers=headers, data=jsons)
print(responses.status_code, responses.url)
# print(responses.json())

钉钉告警模板

{{ $var := .externalURL}}{{ range $k,$v:=.alerts }}
{{if eq $v.status "resolved"}}
#### [Prometheus恢复信息]({{$v.generatorURL}})

##### <font color="#02b340">告警名称</font>：[{{$v.labels.alertname}}]({{$var}})
##### <font color="#02b340">告警级别</font>：{{$v.labels.severity}}
##### <font color="#02b340">开始时间</font>：{{TimeFormat $v.startsAt "2006-01-02 15:04:05"}}
##### <font color="#02b340">结束时间</font>：{{TimeFormat $v.endsAt "2006-01-02 15:04:05"}} 
##### <font color="#02b340">实例地址</font>：{{$v.labels.instance}}
##### <font color="#02b340">主机名称</font>：{{$v.labels.hostname}}

**{{$v.annotations.description}}**
{{else}}
#### [Prometheus告警信息]({{$v.generatorURL}})

##### <font color="#FF0000">告警名称</font>：[{{$v.labels.alertname}}]({{$var}})
##### <font color="#FF0000">告警级别</font>：{{$v.labels.severity}}
##### <font color="#FF0000">开始时间</font>：{{ TimeFormat $v.startsAt "2006-01-02 15:04:05"}}
##### <font color="#FF0000">结束时间</font>：{{TimeFormat $v.endsAt "2006-01-02 15:04:05"}} 
##### <font color="#FF0000">实例地址</font>：{{$v.labels.instance}}
##### <font color="#FF0000">主机名称</font>：{{$v.labels.hostname}}

**{{$v.annotations.description}}**
{{end}}
{{ end }}
{{ $urimsg:=""}}{{ range $key,$value:=.commonLabels }}{{$urimsg =  print $urimsg $key "%3D%22" $value "%22%2C" }}{{end}}[*** 点我屏蔽该告警]({{$var}}/#/silences/new?filter=%7B{{SplitString $urimsg 0 -3}}%7D)

南宫乘风
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Zabbix告警集成Alertmanager组件脚本
一个行走江湖的人
05-12 255
【代码】Zabbix告警集成Alertmanager组件脚本。
alertmanager-webhook-telegram-python：简单的webhook-Alertmanager到电报（python版本）
02-05
用于Telegram的Alertmanager Webhook（Python版） GO版本（ ） Python版本3 安装 点安装-r requirements.txt 更改flaskAlert.py botToken chatID 如果您要使用身份验证，也请进行更改 XXXUSERNAME 密码 禁用身份验证 在flaskAlert.py上，将app.config ['BASIC_AUTH_FORCE'] = True更改为app.config ['BASIC_AUTH_FORCE'] = False Alertmanager配置示例 receivers: - name: 't
Python实现个人微信号自动监控告警的示例
09-19
今天小编就为大家分享一篇Python实现个人微信号自动监控告警的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于Python的关键字监控及告警
09-21
主要为大家详细介绍了基于Python的关键字监控及告警，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python发送告警邮件脚本
09-20
主要介绍了python发送告警邮件脚本的配置方法，zabbix通过python脚本发告警邮件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python通过webhook发送告警消息
DY1316434466的博客
08-04 4792
说明： 当触发prometheus的告警规则后，prometheus会通过alertmanager的接口将告警信息传递给alertmanager，alertmanager通过webhook将告警信息以json的形式传递给python脚本。python脚本使用flask进行实时获取数据，然后发送消息到钉钉群 python脚本： #!/usr/bin/python # -*- coding: utf-8 -*- import json import os from flask import reque
prometheus中使用python手写webhook完成告警
wx_17600131438
01-30 2688
prometheus 的几种告警方式 prometheus 我们都知道它是最近几年特别火的一个开源的监控工具，原生支持 kubernetes，如果你使用的是 kubernetes 集群，那么使用 prometheus 将会是非常方便的，而且 prometheus 也提供了报警工具alertmanager，实际上在 prometheus 的架构中，告警能力是单独的一部分，主要是通过自定义一堆的rule即告警规则，来周期性的对告警规则进行计算，并且会根据设置的报警触发条件，如果满足，就会进行告警，也就是会向al
PYTHON 中将数据以json格式输出
热门推荐
euarcher的博客
06-22 1万+
JSON数据 在日常使用python的过程中，常需要使用json对python的数据进行导出。 JSON数据是JavsScript的子集，专门用于指定结构化的数据，其基于ECMA-262标准，相比于XML，JSON是轻量化的数据交换方式。JSON是以人类更易读的方式传输结构化数据。 区别 表1 JSON和Python类型之 间的区别 JSON PYTHON2 PYTHON3 object dict dict array list tuple list tuple string u
用Python做一个电脑通知小工具，超级方便
人生苦短， 还不用Python？
12-29 1224
Windows不是有个消息通知功能，挺喜欢这个功能的，但是不太方便使用，也懒得去研究，于是准备用Python自己写一个，通过设定通知的间隔时间来实现类似闹钟的效果，这样既不用听闹钟的吵闹声，又做到了定时通知的效果，比如定时通知埋头写代码的我们按时喝水。
python实现自动监控网站并发送邮件告警
weixin_34092370的博客
08-23 990
通过定时执行python脚本,可以实现定期批量访问网站,如果发现网站打不开,第一时间发邮件到管理员邮箱进行预警这里用的是python3.5需要安装的插件:smtplib:发邮件需要用到pycurl:访问网站时会需要用到linecache:在读取txt网站清单时需要用到具体思路:python程序从txt里面批量读取到网站的信息,通过Curl.py模拟浏览器去访问网站,并且把访问...
如何让 Alertmanger 发送告警时带上监控面板？
云原生实验室
08-11 242
❝本文转自 laixintao 的博客，原文：https://www.kawabangga.com/posts/4766，版权归原作者所有。欢迎投稿，投稿请添加微信好友：cloud-native-yangAlertmanager 发送出来的告警是一条消息，一般我们会用 annotation 来说明发生什么事了。但是 Grafana 发出来的，就会直接带上你的查询表达式当前...
高效Django告警组件-Django Alerter源码，无缝对接AlertManager
最新发布
03-25
项目概述：高效Django告警组件——Django Alerter，是一款基于Python语言开发的告警系统插件，无缝对接知名监控系统AlertManager。该项目共包含20个文件，其中18个为Python源代码文件，1个版本控制忽略配置文件（....
python3实现zabbix告警推送钉钉的示例
09-19
今天小编就为大家分享一篇python3实现zabbix告警推送钉钉的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python dingtalk钉钉群告警消息发布
liwench的博客
05-05 401
目录python dingtalk钉钉群告警消息发布机器人创建Dingtalk简介钉钉告警消息通知脚本打成镜像，容器运行效果展示python dingtalk钉钉群告警消息发布 公司用oprator部署的prometheus，理论上时可以直接通过alertmanager的配置。通过钉钉机器人的webhook向群里发送告警信息。但是想要格式化输出格式，并且规范化就成了问题。因为每个人都有部署exp...
Prometheus告警推送蓝信webhook机器人
weixin_49566876的博客
01-04 411
通过Python脚本启动一个http接口用来接收alertmanager推送的告警信息，通过解析接口信息用来截取关键的告警信息，重构告警消息体，并按照蓝信webhook的接口格式进行推送。为了方便管理启停，并防止脚本防止后台被误停止，将python脚本封装为一个容器进行管理。
python调用钉钉互动窗接口实现监控告警消息推送
夜闌靜 風也清
05-12 883
python调用钉钉互动窗接口对接alertmanager实现监控消息推送 #!/usr/bin/env python # -*- coding: utf-8 -*- ''' 实现调用钉钉互动窗api接口发送告警信息 ''' import time import requests import json import uuid import sys import re import logging from flask import Flask, request, jsonify # 互动窗.
prometheus+alertmanager监控告警消息推送自定义接口
Hu_wen的专栏
12-12 642
拿到报文后，我们就可以开始我们的内容改造之旅，我们使用flask框架搭建一个简单的web服务，在开始编码之前，先预先装好flask模块。在prometheus的告警方案中，alertmanager提供了邮件、Slack、webhook等多种通知方式的支持。本篇主要介绍如何通过webhook方式将告警消息发送到自己的告警媒介。配置webhook_configs为我们搭建的web服务地址。首先，部署alertmanager应用，此处不再赘述。
09-使用python代码模拟设备实现平台场景联动异常告警功能测试
weixin_42255154的博客
09-07 93
找到创建好的告警配置卡片进入详情页面，选择“关联场景联动”单击新增按钮，在弹出的表单中选择已经创建的场景联动，单击确定进行绑定。在Thonny软件中选中运行testInvoke.py，运行成功如下图所示。进入“告警中心->告警配置”单击新增按钮，在配置表单中参考如下图所示参数进行配置，配置完成保存即可。场景描述：当获取到的当前温度值大于5，则触发告警。执行的配置如下图所示，配置后单击确定即可。也单击卡片中的告警日志查看详情。再进入告警中心查看告警记录。最后记得启用该场景联动。
Centos7升级Python3.7.3版本
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
04-10 5535
目录 前言： 正文： 1.下载Python3.7.3的镜像 2、解压 tar -xzvf Python-3.7.3.tgz 3、cd Python-3.7.3 4、安装到/usr/local目录中 5、make && makealtinstall 6、验证 7、cd /usr/bin 8、备份之前的python 9、创建软连接 问题 1、更改y...
python监控告警
07-28
- *1* *2* *3* [Python编写告警信息，整合Alertmanager告警](https://blog.csdn.net/heian_99/article/details/125618555)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南宫乘风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值