prometheus之监控告警

alert是一个单独的模块，需要单独配置，需要声明邮箱地址。配置以configmap进行配置，altermanager用pod部署在k8s集群中

prometheus监控告警实验

1、设置发送告警邮箱授权码

2、创建告警configmap配置文件

3、创建prometheus的configmap文件

4、创建secret

kubectl -n monitor-sa create secret generic etcd-certs --from-file=/etc/kubernetes/pki/etcd/server.key --from-file=/etc/kubernetes/pki/etcd/server.crt --from-file=/etc/kubernetes/pki/etcd/ca.crt5、创建prometheus的deployment文件

6、修改kube-proxy的监听地址

kubectl edit configmaps -n kube-system kube-proxy

重启kube-proxy

kubectl get pods -n kube-system | grep kube-proxy |awk '{print $1}' | xargs kubectl delete pods -n kube-system7、创建告警的service文件（暴露端口）

浏览器输入http://20.0.0.17:30066/#/alerts

inactive	已经激活的告警指标
pending	告警的阀值已经触发，正在等待发送邮件
firing	告警项已经触发了发送配置（邮件、短信、电话、钉钉）

8、触发、监控、恢复告警

①模拟告警

②监控告警

持续半小时收到告警，去现场

③恢复后告警消失