Alertmanager 安装(k8s报警)

最新推荐文章于 2024-09-25 23:22:14 发布
最新推荐文章于 2024-09-25 23:22:14 发布
阅读量1k 收藏 3
点赞数
原文链接：http://www.cnblogs.com/zhangb8042/p/10209453.html
版权

一、下载Alertmanager

https://prometheus.io/download/ 

wget https://github.com/prometheus/alertmanager/releases/download/v0.16.0-alpha.0/alertmanager-0.16.0-alpha.0.linux-amd64.tar.gz

#解压
tar xf alertmanager-0.16.0-alpha.0.linux-amd64.tar.gz 
mv alertmanager-0.16.0-alpha.0.linux-amd64  /usr/local/alertmanager
#创建数据目录
mkdir -p /data/alertmanager

#创建用户
useradd prometheus
chown -R prometheus:prometheus /usr/local/alertmanager  /data/alertmanager/


#添加启动服务
vim /usr/lib/systemd/system/alertmanager.service
[Unit]
Description=Alertmanager
After=network.target

[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml --storage.path=/data/alertmanager
Restart=on-failure

[Install]
WantedBy=multi-user.target

#启动服务
systemctl start alertmanager.service
#查看端口
[root@k8s-m alertmanger]# ss -lntp|grep 9093
LISTEN     0      128         :::9093                    :::*                   users:(("alertmanager",pid=26298,fd=6))

　　

浏览器访问

http://IP:9093

 

二、结合prometheus实现监控报警

安装prometheus

https://www.cnblogs.com/zhangb8042/p/10204997.html

#创建一个configmap（监控用的）

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config2
  namespace: kube-system
data:
  rules.yml: |
    groups:
    - name: test-rules
      rules:
      - alert: InstanceDown 
        expr: up == 0 
        for: 2m
        labels:
         team: node
        annotations:
         summary: "{{$labels.instance}}: has been down"
         description: "{{$labels.instance}}: job {{$labels.job}} has been down "

 

修改下载的prometheus.deploy.yml的配置文件（挂载上面的configmap）

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  labels:
    name: prometheus-deployment
  name: prometheus
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      containers:
      - image: prom/prometheus:v2.0.0
        name: prometheus
        command:
        - "/bin/prometheus"
        args:
        - "--config.file=/etc/prometheus/prometheus.yml"
        - "--storage.tsdb.path=/prometheus"
        - "--storage.tsdb.retention=24h"
        ports:
        - containerPort: 9090
          protocol: TCP
        volumeMounts:
        - mountPath: "/prometheus"
          name: data
        - mountPath: "/etc/prometheus"
          name: config-volume
        - mountPath: "/etc/rules"
          name: rules
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
          limits:
            cpu: 500m
            memory: 2500Mi
      serviceAccountName: prometheus    
      volumes:
      - name: data
        emptyDir: {}
      - name: config-volume
        configMap:
          name: prometheus-config   
      - name: rules 
        configMap:
          name: prometheus-config2

 

#修改原先的configmap文件

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
  namespace: kube-system
data:
  prometheus.yml: |
    global:
      scrape_interval:     15s
      evaluation_interval: 15s
      scrape_timeout: 15s
      external_labels: 
        monitor: 'codelab_monitor'
    alerting:
      alertmanagers:
      - static_configs:
        - targets: ["172.31.0.248:9093"] #alertmanagers地址
    rule_files: ## rule配置，首次读取默认加载，之后根据evaluation_interval设定的周期加载
    - "/etc/rules/rules.yml"

    scrape_configs:
    - job_name: 'prometheus' # job_name默认写入timeseries的labels中，可以用于查询使用
      scrape_interval: 15s # 抓取周期，默认采用global配置
      static_configs: # 静态配置
      - targets: ['localhost:9090'] # prometheus所要抓取数据的地址
    
    scrape_configs:
    - job_name: 'kubernetes-apiservers'
      kubernetes_sd_configs:
      - role: endpoints
      scheme: https
      tls_config:
        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
      relabel_configs:
      - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]
        action: keep
        regex: default;kubernetes;https

    - job_name: 'kubernetes-nodes'
      kubernetes_sd_configs:
      - role: node
      scheme: https
      tls_config:
        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
      relabel_configs:
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      - target_label: __address__
        replacement: kubernetes.default.svc:443
      - source_labels: [__meta_kubernetes_node_name]
        regex: (.+)
        target_label: __metrics_path__
        replacement: /api/v1/nodes/${1}/proxy/metrics

    - job_name: 'kubernetes-cadvisor'
      kubernetes_sd_configs:
      - role: node
      scheme: https
      tls_config:
        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
      bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
      relabel_configs:
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      - target_label: __address__
        replacement: kubernetes.default.svc:443
      - source_labels: [__meta_kubernetes_node_name]
        regex: (.+)
        target_label: __metrics_path__
        replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor

    - job_name: 'kubernetes-service-endpoints'
      kubernetes_sd_configs:
      - role: endpoints
      relabel_configs:
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]
        action: keep
        regex: true
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scheme]
        action: replace
        target_label: __scheme__
        regex: (https?)
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]
        action: replace
        target_label: __metrics_path__
        regex: (.+)
      - source_labels: [__address__, __meta_kubernetes_service_annotation_prometheus_io_port]
        action: replace
        target_label: __address__
        regex: ([^:]+)(?::\d+)?;(\d+)
        replacement: $1:$2
      - action: labelmap
        regex: __meta_kubernetes_service_label_(.+)
      - source_labels: [__meta_kubernetes_namespace]
        action: replace
        target_label: kubernetes_namespace
      - source_labels: [__meta_kubernetes_service_name]
        action: replace
        target_label: kubernetes_name

    - job_name: 'kubernetes-services'
      kubernetes_sd_configs:
      - role: service
      metrics_path: /probe
      params:
        module: [http_2xx]
      relabel_configs:
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_probe]
        action: keep
        regex: true
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: blackbox-exporter.example.com:9115
      - source_labels: [__param_target]
        target_label: instance
      - action: labelmap
        regex: __meta_kubernetes_service_label_(.+)
      - source_labels: [__meta_kubernetes_namespace]
        target_label: kubernetes_namespace
      - source_labels: [__meta_kubernetes_service_name]
        target_label: kubernetes_name

    - job_name: 'kubernetes-ingresses'
      kubernetes_sd_configs:
      - role: ingress
      relabel_configs:
      - source_labels: [__meta_kubernetes_ingress_annotation_prometheus_io_probe]
        action: keep
        regex: true
      - source_labels: [__meta_kubernetes_ingress_scheme,__address__,__meta_kubernetes_ingress_path]
        regex: (.+);(.+);(.+)
        replacement: ${1}://${2}${3}
        target_label: __param_target
      - target_label: __address__
        replacement: blackbox-exporter.example.com:9115
      - source_labels: [__param_target]
        target_label: instance
      - action: labelmap
        regex: __meta_kubernetes_ingress_label_(.+)
      - source_labels: [__meta_kubernetes_namespace]
        target_label: kubernetes_namespace
      - source_labels: [__meta_kubernetes_ingress_name]
        target_label: kubernetes_name

    - job_name: 'kubernetes-pods'
      kubernetes_sd_configs:
      - role: pod
      relabel_configs:
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
        action: keep
        regex: true
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
        action: replace
        target_label: __metrics_path__
        regex: (.+)
      - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
        action: replace
        regex: ([^:]+)(?::\d+)?;(\d+)
        replacement: $1:$2
        target_label: __address__
      - action: labelmap
        regex: __meta_kubernetes_pod_label_(.+)
      - source_labels: [__meta_kubernetes_namespace]
        action: replace
        target_label: kubernetes_namespace
      - source_labels: [__meta_kubernetes_pod_name]
        action: replace
        target_label: kubernetes_pod_name

 

#重新导入所有文件

 

#查看prometheus页面的监控与报警项

#配置alertmanager的报警设置（我暂时使用的是email，支持微信和钉钉）

修改alertmanager.yml文件

[root@k8s-m prometheus]# cat  /usr/local/alertmanager/alertmanager.yml
global: 
  resolve_timeout: 5m #处理超时时间，默认为5min
  smtp_smarthost: 'smtp.163.com:25' # 邮箱smtp服务器代理
  smtp_from: 'xxxx@163.com' # 发送邮箱名称
  smtp_auth_username: 'xxxx@163.com' # 邮箱名称
  smtp_auth_password: 'xxxxxxxxx' #邮箱密码

route:
  group_by: ['alertname'] # 报警分组名称
  group_wait: 10s # 最初即第一次等待多久时间发送一组警报的通知
  group_interval: 10s # 在发送新警报前的等待时间
  repeat_interval: 1m # 发送重复警报的周期
  receiver: 'email' # 发送警报的接收者的名称，以下receivers name的名称


receivers:
  - name: 'email' # 警报
    email_configs: # 邮箱配置
    - to: '18305944341@163.com'  # 接收警报的email配置


inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

 

#重启alertmanager

systemctl restart alertmanager.service

 

#干掉node端的kubelet

 

#过一会查看prometheus（出现问题了）

#查看alertmanager

#查看邮箱

 

#配置钉钉报警

一、下载prometheus-webhook-dingtalk插件

wget https://github.com/timonwong/prometheus-webhook-dingtalk/releases/download/v0.3.0/prometheus-webhook-dingtalk-0.3.0.linux-amd64.tar.gz
tar xf prometheus-webhook-dingtalk-0.3.0.linux-amd64.tar.gz
mv prometheus-webhook-dingtalk-0.3.0.linux-amd64 /usr/local
ln -s  /usr/local/prometheus-webhook-dingtalk-0.3.0.linux-amd64  /usr/local/prometheus-webhook-dingtalk
cp default.tmpl{,.default}
vim  default.tmpl#修改报警模板
{{ define "__subject" }}[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}] {{ .GroupLabels.SortedPairs.Values | join " " }} {{ if gt (len .CommonLabels) (len .GroupLabels) }}({{ with .CommonLabels.Remove .GroupLabels.Names }}{{ .Values | join " " }}{{ end }}){{ end }}{{ end }}
{{ define "__alertmanagerURL" }}{{ .ExternalURL }}/#/alerts?receiver={{ .Receiver }}{{ end }}

{{ define "__text_alert_list" }}{{ range . }}
**Labels**
{{ range .Labels.SortedPairs }}> - {{ .Name }}: {{ .Value | markdown | html }}
{{ end }}
**Annotations**
{{ range .Annotations.SortedPairs }}> - {{ .Name }}: {{ .Value | markdown | html }}
{{ end }}
**Source:** [{{ .GeneratorURL }}]({{ .GeneratorURL }})

{{ end }}{{ end }}

{{ define "ding.link.title" }}{{ template "__subject" . }}{{ end }}
{{ define "ding.link.content" }}#### \[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}\] **[{{ index .GroupLabels "alertname" }}]({{ template "__alertmanagerURL" . }})**
{{ template "__text_alert_list" .Alerts.Firing }}
{{ end }}

#启动prometheus-webhook-dingtalk
 /usr/local/prometheus-webhook-dingtalk/prometheus-webhook-dingtalk   --web.listen-address="0.0.0.0:8060" --ding.profile="ops_dingding=https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxxx" #钉钉机器人wehook地址

　　#2、修改alertmanager.yml文件

[root@k8s-m alertmanager]# cat alertmanager.yml
global:
  resolve_timeout: 5m
route:
  receiver: webhook
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  group_by: [alertname]
  routes:
  - receiver: webhook
    group_wait: 10s
    match:
      team: node
receivers:
- name: webhook
  webhook_configs:
  - url: http://localhost:8060/dingtalk/ops_dingding/send 
    send_resolved: true

#重启alertmanager
systemctl  restart alertmanager.service

　　

 

#钉钉报警查看

 

转载于:https://www.cnblogs.com/zhangb8042/p/10209453.html

weixin_30883777
关注
K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-08 1万+
🔴 K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
Kubernetes(k8s)监控报警之使用Prometheus和alertmanager及node_exporter和kube-state-metrics
mmgithub123的博客
07-03 614
注：以下链接可以获取到快速安装手册。 Kubernetes(k8s)监控报警之快速安装手册-使用Prometheus和alertmanager及node_exporter和kube-state-metrics 一，监控报警 系统搭建完后，必然处在变化之中，而监控报警就是以一个全局的视角，实时的看待一个系统的变化，并对异常变化做出响应。 系统构成 计算机应用系统的构成，常常由基础设施，...
K8S-安装使用alertmanager进行邮件报警
wangmiaoyan的博客
09-18 2435
前一篇已经部署好prometheus及grafana,这一篇实践使用alertmanager进行邮件报警。 prometheus收集指标，然后根据规则发送警报给到alertmanager,alertmanager收到警报后，根据通知规则发送通知（短信，邮箱等）。 部署alertmanager主要步骤如下 （1）、部署alertmanager （2）、配置alertmanager与prometheus通信 （3）、配置告警规则 （1）部署alertmanager 1、新建alertmanager-cfg.y
k8s1.28.8版本配置Alertmanager报警方式（邮件，企业微信）
mingqing的博客
03-31 1911
部署Alertmanager配置Prometheus与Alertmanager通信配置告警prometheus指定rules目录 ，创建告警yamlconfigmap存储告警规则configmap挂载到容器rules目录增加alertmanager告警配置，有俩种方式下面注意下这里是定义谁发送这个告警信息的，谁接收这个邮件Prometheus Operator 为 alertmanager 抽象了两个 CRD资源:可以理解为俩中方式更新alertmanager，
k8s prometheus告警组件altermanage的使用
最新发布
weixin_44204737的博客
09-25 651
可以去网上搜=========xxx环境监控报警 =========告警状态：{{ .Status }}告警级别：{{ .Labels.severity }}告警类型：{{ $alert.Labels.alertname }}故障主机: {{ $alert.Labels.instance }} {{ $alert.Labels.pod }}告警主题: {{ $alert.Annotations.summary }}
prometheus告警
jingzhiz 专属移动笔记
05-22 275
https://awesome-prometheus-alerts.grep.to/ 很全的告警模板 安装配置kube-state-metrics组件 kube-state-metrics是什么？ kube-state-metrics通过监听API Server生成有关资源对象的状态指标，比如Deployment、Node、Pod，需要注意的是kube-state-metrics只是简单的提...
实战k8s监控--alertmanager
勿念旧梦
08-30 918
Alertmanager作为一个独立的组件，负责接收并处理来自Prometheus Server(也可以是其它的客户端程序)的告警信息。Alertmanager可以对这些告警信息进行进一步的处理，比如当接收到大量重复告警时能够消除重复的告警信息，同时对告警信息进行分组并且路由到正确的通知方，Prometheus内置了对邮件，Slack等多种通知方式的支持，同时还支持与Webhook的集成，以支持更多定制化的场景。同时AlertManager还提供了静默和告警抑制机制来对告警通知行为进行优化。 部署ale.
K8S云管平台开发实践 - 报警功能01
wjs7740的专栏
12-20 1178
本篇主要阐述实现方案 关键词：open-falcon、javaxmail、apache-james要实现完整的报警功能，我们需要5步： 1. 创建规则 2. 收集数据 3. 将规则数据和收集到的数据进行比较 4. 产生报警数据 5. 推送报警数据 而在运管平台中，我们整合了小米开源监控系统open-falcon，对应上面分析的步骤，我们给出的方案是： 1. k8s云管平台提供报
prometheus + alertmanager + grafana +钉钉告警 动部署包
06-29
Prometheus、Alertmanager、Grafana以及钉钉告警是监控和报警系统的关键组件，尤其在 Kubernetes (k8s) 集群环境中。这个手动部署包提供了在 Kubernetes 上搭建这套系统的 YAML 文件，使得用户可以方便地应用配置，...
【K8S运维知识汇总】第7天6：部署alertmanager（监控告警）
就叫一片白纸的博客
10-31 968
文章目录准备基础镜像准备资源配置清单应用资源配置清单告警配置在末尾添加，关联告警规则 准备基础镜像 [root@k8s7-200.host.com /opt/src]# docker pull docker.io/prom/alertmanager:v0.14.0 [root@k8s7-200.host.com /opt/src]# docker tag 30594e96cbe8 harbor.od.com/infra/alertmanager:v0.19.0 [root@k8s7-200.host.c.
k8s之Alertmanager-v0.24实现微信|邮箱告警
jiayu的博客
05-06 1479
告警效果 Prometheus-server-config Prometheus-server规则参考链接(提供了不同exporter下各类常规指标告警规则)：https://awesome-prometheus-alerts.grep.to/rules 注：由于监控etcd时需要使用相关证书，需要将etcd相关证书制作成secret，并挂载给prometheus-server使用 kubectl -n kube-prometheus create secret generic etcd-certs
promeuth+alertmanager配置
09-22
开源全方位监控工具 promeuth +alertmanager 报警配置
【prometheus】k8s集群部署AlertManager实现邮件和钉钉告警
康师傅没有眼泪
04-22 4562
Prometheus的报警功能主要是利用Alertmanager这个组件。当Alertmanager接收到 Prometheus 端发送过来的 Alerts 时，Alertmanager 会对 Alerts 进行去重复，分组，按标签内容发送不同报警组，包括：邮件，微信，webhook。使用prometheus进行告警分为两部分：Prometheus Server中的告警规则会Alertmanager发送。然后，Alertmanager管理这些告警，包括进行重复数据删除，分组和路由，以及告警的静默和抑制。
外独立部署Prometheus+Grafana+Alertmanager监控K8S
听海归雪的博客
12-06 7660
集群外独立Prometheus+Grafana+Alertmanager服务监控k8s资源
进阶之路：从零到一在k8s上部署高可用prometheus —— alertmanager
ary的博客
08-03 1126
目录导航前言相关yaml文件权限相关alertmanager-serviceAccount.yaml配置相关alertmanager-secret.yaml服务相关alertmanager-service.yamlprometheus.yaml部署验证 导航 进阶之路：从零到一在k8s上部署高可用prometheus —— 总览 前言 在上一章部署完监控基础组件prometheus后，我们应该已经可以采集到node_exporter暴露出的监控数据了。但是仅仅有数据是不够的，我们需要将数据转化为可以利用的资
alertmanager 告警写入kafka 及 k8s 部署prometheus alertmanager
qq_15138049的博客
01-11 1076
prometheus alertmanager
K8s环境下监控告警平台搭建及配置
techdashen的博客
08-11 1357
更新后的配置在 https://github.com/spring2go/k8s-msa-in-action/blob/master/ch08/07/values_alertmanager.yml。这将在本地主机的 8080 端口上启动一个转发服务，将所有发送到该端口的请求转发到运行在 "my-pod" Pod 中的 80 端口。你可以使用本地浏览器或工具访问。换句话说，这个命令的目的是获取监控系统中 Alertmanager 的配置文件，并将其解码为可读的 YAML 格式，以便查看其中的配置详细信息。
基于 Kubernetes v1.14.0 之 Alertmanager 部署
weixin_34357928的博客
06-19 1060
1、部署准备 说明：所有的容器组都运行在monitoring 命名空间 本文参考https://github.com/coreos/kube-prometheus 由于官方维护的版本在现有的部署环境出现问题所以下面做了一些修改及变更不影响整体效果 Alertmanager 项目使用官方yaml 不做任何修改 2、Alertmanager 相关服务的yaml 准备 2.1、下载官方yaml mkdi...
k8s全栈-笔记6-Prometheus+Alertmanager构建监控系统
llllyh812的博客
10-03 2530
k8s全栈-笔记6-Prometheus+Alertmanager构建监控系统
搭建K8s监控体系：Prometheus+Alertmanager+Grafana详解
本篇文章详细介绍了如何在Kubernetes (k8s) 1.14.2版本的集群环境下，利用Prometheus监控系统对集群进行深入监控，并配置Alertmanager进行报警通知，以及通过Grafana展示监控结果。文章开始于集群环境的准备阶段，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值