prometheus监控-1

已于 2022-12-06 15:05:50 修改
阅读量677 收藏
点赞数
分类专栏： prometheus 文章标签： prometheus
于 2022-12-06 15:04:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45566250/article/details/128203146
版权

1.prometheus安装
1.1 prometheus安装
tar -xzvf sotf/prometheus-2.35.0.linux-amd64.tar.gz -C ./app/
1.2 prometheus.yml配置文件指标说明
global：全局配置
alerting：告警配置
rule_files：告警规则
scrape_configs：配置数据源，称为target，每个target用job_name命
名。又分为静态配置和服务发现

官方文档: https://prometheus.io/docs/prometheus/latest/configuratio
n/configuration/
Prometheus.yml 配置案例
global:
#关联alertmanagers
alerting:
alertmanagers:
- static_configs:
- targets:
- 127.0.0.1:9093
#报警规则文件
rule_files:

  • “/data/app/prometheus-2.35.0.linux-amd64/conf/rule/*.yml”
    scrape_configs:
  • job_name: “prometheus”
    static_configs:
    • targets: [“localhost:9090”]
      #node-export指标监控
  • job_name: “node-export”
    file_sd_configs:
    • files:
      • /data/app/prometheus-2.35.0.linux-amd64/conf/node-exporter/*.yml

黑盒监控-TCP-1

  • job_name: ‘blackbox_tcp’
    scrape_interval: 10s
    metrics_path: /probe
    params:
    module: [tcp_connect]
    file_sd_configs:

    • files: [“/data/app/prometheus-2.35.0.linux-amd64/conf/blackbox-exporter-tcp/*.yml”]
      relabel_configs:
    • source_labels: [address]
      target_label: __param_target
    • target_label: address
      replacement: 192.168.220.202:9115
      报警规则如下：
      Cat >/data/app/prometheus-2.35.0.linux-amd64/conf/rule/node_exporter.yml <<EOF
      groups:
    • name: 主机告警
      rules:

      • alert: CPU使用率过高
        expr: round((1 - avg(irate(node_cpu_seconds_total{mode=“idle”}[5m])) by (instance, env, name, group)) * 100, 0.1) > 85
        for: 5m
        labels:
        severity: ‘warning’
        annotations:
        description: “{{KaTeX parse error: Expected 'EOF', got '}' at position 16: labels.inatance}̲} CPU使用大于85%(目前…value}}%)”

      • alert: 内存使用率过高
        expr: round((1 - (node_memory_MemAvailable_bytes{name!~“tidb."} / (node_memory_MemTotal_bytes{name!~"tidb.”})))* 100, 0.1) > 85
        for: 5m
        labels:
        severity: ‘warning’
        annotations:
        description: “{{KaTeX parse error: Expected 'EOF', got '}' at position 19: …els.mountpoint }̲} 内存使用大于85%(目前使…value}}%)”

      • alert: 磁盘使用率过高
        expr: round(100-(node_filesystem_free_bytes{fstype=“ext4|xfs”,mountpoint!“/etc/hostname|/etc/hosts|/etc/resolv.“}/node_filesystem_size_bytes {fstype=“ext4|xfs”,mountpoint!”/etc/hostname|/etc/hosts|/etc/resolv.”}*100), 0.1) > 3
        for: 3s
        labels:
        severity: ‘warning’
        annotations:
        description: “{{KaTeX parse error: Expected 'EOF', got '}' at position 19: …els.mountpoint }̲} 磁盘分区使用大于3%(目前…value}}%)”

      • alert: 磁盘使用率增长过快
        expr: round((node_filesystem_avail_bytes{fstype=“ext4|xfs”,mountpoint!“/etc/hostname|/etc/hosts|/etc/resolv.“} offset 5m - node_filesystem_avail_bytes{fstype=“ext4|xfs”,mountpoint!”/etc/hostname|/etc/hosts|/etc/resolv.”}) / node_filesystem_size_bytes{fstype=“ext4|xfs”,mountpoint!“/etc/hostname|/etc/hosts|/etc/resolv.*”} * 100, 0.1)> 10
        for: 1s
        labels:
        severity: ‘warning’
        annotations:
        description: “{{KaTeX parse error: Expected 'EOF', got '}' at position 19: …els.mountpoint }̲} 磁盘分区近5分钟磁盘增长率…value}}%)”

      • alert: 流入网络带宽过高
        expr: round (((sum(rate (node_network_receive_bytes_total{device!~‘tap.|veth.|br.|docker.|virbr*|lo*’}[5m])) by (instance, env, name,)) / 100) / 1024, 0.1) > 500
        for: 5m
        labels:
        severity: ‘warning’
        annotations:
        description: “{{KaTeX parse error: Expected 'EOF', got '}' at position 19: …els.mountpoint }̲}流入网络带宽持续5分钟高于5…value}}”

      • alert: 流出网络带宽过高
        expr: round (((sum(rate (node_network_transmit_bytes_total{device!~‘tap.|veth.|br.|docker.|virbr*|lo*’}[5m])) by (instance, env, name)) / 100) / 1024, 0.1) > 500
        for: 5m
        labels:
        severity: ‘warning’
        annotations:
        description: “{{KaTeX parse error: Expected 'EOF', got '}' at position 19: …els.mountpoint }̲}流出网络带宽持续5分钟高于5…value}}”

      • alert: CPU负载大于15
        expr: node_load5{job=~“.tidb.”} > 15
        for: 5m
        labels:
        severity: ‘warning’
        annotations:
        description: “当前机器CPU负载过高，当前值：{{$value}}”
        EOF
        监控对象如下：
        #node-exporter系统监控指标
        cat >/data/app/prometheus-2.35.0.linux-amd64/conf/node-exporter/node-exporter.yml <<EOF

  • targets: [‘192.168.220.202:19100’]
    labels: {
    env: ‘fat’,
    hostname: ‘test3’,
    instance: ‘192.168.220.202’

    }

  • targets: [‘192.168.220.200:19100’]
    labels: {
    env: ‘pro’,
    hostname: ‘test1’,
    instance: ‘192.168.220.200’

    }
    EOF

#黑盒监控nginx端口
cat >/data/app/prometheus-2.35.0.linux-amd64/conf/conf/blackbox-exporter-tcp/nginx.yml <<EOF

  • targets: [‘192.168.220.200:80’]
    labels: {env: ‘pro’, name: ‘nginx’, hostname: ‘test1’, instance: ‘192.168.220.200:80’, app: “nginx”}
    EOF
    .3将prometheus加入系统服务
    cat > /usr/lib/systemd/system/prometheus.service<< EOF
    [Unit]

Description=logging prometheus service

Documentation=https://prometheus.io

[Service]

Type=simple

User=root

Group=root

ExecStart=/data/app/prometheus-2.35.0.linux-amd64/prometheus --config.file=/data/app/prometheus-2.35.0.linux-amd64/prometheus.yml

Restart=on-failure

[Install]

WantedBy=multi-user.target
EOF

1.4启动服务
systemctl start prometheus
2.node_exporter客户端安装
tar -xzvf node_exporter-1.3.1.linux-amd64.tar.gz -C /data/app
将node_exporter加入系统服务
cat >/usr/lib/systemd/system/node_exporter.service <<EOF
[Unit]
Description=node_exporter
Documentation=node_exporter Monitoring System
After=network.target

[Service]
ExecStart=/data/app/node_exporter-1.3.1.linux-amd64/node_exporter --web.listen-address=:19100

[Install]
WantedBy=multi-user.target
EOF

3.grafana安装
rpm -ivh grafana-enterprise-8.5.2-1.x86_64.rpm

4.AlterManager安装
tar -xzvf alertmanager-0.24.0.linux-amd64.tar.gz -C /data/app

altermanager.yml配置案例
global:
resolve_timeout: 5m
route:
group_by: [‘alertname’, ‘name’]
group_wait: 20s
group_interval: 30s
repeat_interval: 1h
receiver: robot1

routes:

  • receiver: ‘robot1’
    continue: true
    group_wait: 5s
    match_re:
    env: “prod|pro”
    receivers:
  • name: ‘robot1’
    webhook_configs:
    • url: http://127.0.0.1:8060/dingtalk/webhook1/send #钉钉自定义接口端口
      send_resolved: true

inhibit_rules:

  • source_match:
    severity: ‘critical’
    target_match:
    severity: ‘warning’
    equal: [‘alertname’, ‘dev’, ‘instance’]
    将altermanager加入系统服务
    cat >/usr/lib/systemd/system/alertmanager.service <<EOF
    [Unit]
    Description=https://prometheus.io

[Service]
Restart=on-failure
ExecStart=/data/app/alertmanager-0.24.0.linux-amd64/alertmanager --config.file=/data/app/alertmanager-0.24.0.linux-amd64/alertmanager.yml

[Install]
WantedBy=multi-user.target
EOF

5.prometheus-webhook-dingtalk钉钉接口报警
tar -xzvf prometheus-webhook-dingtalk-2.1.0.linux-amd64.tar.gz -C /data/app

config.yml 配置案例

Request timeout

timeout: 5s

Uncomment following line in order to write template from scratch (be careful!)

#no_builtin_template: true

Customizable templates path

#钉钉自定义报警模板
templates:

  • ‘/data/app/alertmanager-0.24.0.linux-amd64/template/ding_alert.tmpl’

You can also override default template using default_message

The following example to use the ‘legacy’ template from v0.3.0

#default_message:

title: ‘{{ template “legacy.title” . }}’

text: ‘{{ template “ding.link.content” . }}’

Targets, previously was known as “profiles”

targets:
webhook1:
url: https://oapi.dingtalk.com/robot/send?access_token=f58dab9d4c9a33795a7218dc3445fed2696bd6cd455be243d3cd8f23fc4b3841
# secret for signature
secret: SEC000000000000000000000
webhook2:
url: https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxx
webhook_legacy:
url: https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxx
# Customize template content
message:
# Use legacy template
title: ‘{{ template “legacy.title” . }}’
text: ‘{{ template “legacy.content” . }}’
webhook_mention_all:
url: https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxx
mention:
all: true
webhook_mention_users:
url: https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxx
mention:
mobiles: [‘156xxxx8827’, ‘189xxxx8325’]

钉钉自定义告警模板
vi /data/app/alertmanager-0.24.0.linux-amd64/template/ding_alert.tmpl
警程序：prometheus_alert
告警级别：{{ .Labels.severity }}
告警类型：{{ .Labels.alertname }}
主机IP: {{ .Labels.instance }}
主机名: {{ .Labels.hostname }}
env: {{ .Labels.env }}
告警描叙: {{ .Annotations.description }}
触发时间: {{ .StartsAt.Format “2006-01-02 15:04:05” }}

{{ end }}{{ end }}

{{ define “__text_resolve_list” }}{{ range . }}
恢复程序：prometheus_alert
恢复类型：{{ .Labels.alertname }}
主机IP: {{ .Labels.instance }}
主机名: {{ .Labels.hostname }}
env: {{ .Labels.env }}
恢复描叙: {{ .Annotations.description }}
触发时间: {{ .StartsAt.Format “2006-01-02 15:04:05” }}

{{ end }}{{ end }}

{{ define “ding.link.content” }}
{{ if gt (len .Alerts.Firing) 0 -}}
告警列表:

{{ template “__text_alert_list” .Alerts.Firing }}
{{- end }}
{{ if gt (len .Alerts.Resolved) 0 -}}
恢复列表:
{{ template “__text_resolve_list” .Alerts.Resolved }}
{{- end }}
{{- end }}

将/prometheus-webhook-dingtalk加入系统服务
[Unit]
Description=https://github.com/timonwong/prometheus-webhook-dingtalk/releases/
After=network-online.target
[Service]
Restart=on-failure
ExecStart=/data/app/prometheus-webhook-dingtalk-2.1.0.linux-amd64/prometheus-webhook-dingtalk --config.file=/data/app/prometheus-webhook-dingtalk-2.1.0.linux-amd64/config.yml

[Install]
WantedBy=multi-user.target
6.黑盒监控blackbox_exporter安装
tar -xzvf blackbox_exporter-0.21.0-rc.0.linux-amd64.tar.gz -C /data/app
cat /data/app/prometheus-2.35.0.linux-amd64/conf/rule/blackbox.yml <<EOF
groups:
- name: 黑盒探测
rules:
- alert: 站点连接异常
expr: probe_success{app=“java|nodejs|golang|nginx”,env=“pro|prod”} != 1
for: 120s
labels:
severity: ‘critical’
annotations:
description: "{{$labels.mountpoint }} "
EOF
将blackbox_exporter加入系统服务
cat >/usr/lib/systemd/system/blackbox_exporter.service <<EOF
[Unit]
Description=blackbox_exporter
After=network.target

[Service]
WorkingDirectory=/data/app/blackbox_exporter
ExecStart=/data/app/blackbox_exporter/blackbox_exporter
–config.file=/data/app/blackbox_exporter/blackbox.yml
[Install]
WantedBy=multi-user.target
EOF

7.钉钉机器人设置

1.设置允许外网IP

效果如下：

lucas_巅峰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
prometheus监控
WAmani的博客
07-01 2633
1、简介 Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统，由工作在 SoundCloud 的 google 前员工在 2012 年创建，作为社区开源项目进行开发，并于 2015 年正式发布。2016 年，Prometheus 正式加入 Cloud Native Computing Foundation，成为受欢迎度仅次于 Kubernet...
prometheus-vmware-exporter:收集指标ESXi主机
05-27
prometheus-vmware-exporter 收集指标ESXi主机 建造 docker build -t prometheus-vmware-exporter . 跑步 docker run -b \ --restart=always \ --name=prometheus-vmware-exporter \ --env=ESX_HOST esx.domain.local \ --env=ESX_USERNAME user \ --env=ESX_PASSWORD password \ --env=ESX_LOG debug \ prometheus-vmware-exporter
prometheus监控VMware
qq_54181545的博客
06-07 686
prometheus官网：https://prometheus.io/golang官网：https://golang.google.cn/granfana官网：https://grafana.com/因VMware_export配置文件，用docker启动。
Prometheus的监控ESXI、虚拟机、vsan存储的告警规则
最新发布
但你爱上漂泊的博客
05-14 481
description: "{{ $labels.instance }} 的 {{ $labels.vm_name }} 路径为 {{ $labels.partition}} 磁盘使用率 {{ $value | printf \"%.2f\" }}%"description: "{{ $labels.instance }}中虚拟机{{ $labels.vm_name }} CPU使用率为{{ $value | printf \"%.2f\" }}%"summary: "虚拟机快照数量过多"
prometheus监控服务器、网络设备、Vmware-esxi
2303_77150012的博客
04-24 2781
采用prometheus方式进行部署，监控本地服务器、网络线路、域名访问达到阈值触发告警，从而快速定为问题源加快响应速度。
K8S 部署promethus+grafana 监控vmware ESXI —— 筑梦之路
筑梦之路
06-22 1978
k8s部署promethus+grafana 监控vmware esxi grafana 模板ID：11243参考资料：prometheus监控exsi vcenter，监控kvm libvirt-脚本小站
Prometheus 采集vCenter7监控数据
极致，细节
12-01 2673
vmware_exporter 是一个开源软件，用于将 VMware vSphere 环境的性能指标暴露给 Prometheus 监控系统。它充当一个代理，运行在与 VMware vSphere 实例相同的主机上，并通过查询 vSphere 提供的 API 来获取有关虚拟机、主机、存储等方面的信息。
kube-prometheus-release-0.12部署yaml文件
11-10
1. **Prometheus Operator**：这是管理Prometheus实例和配置的Kubernetes Operator。它负责创建、更新和删除Prometheus和Alertmanager资源。 2. **Prometheus**：实际的Prometheus服务器配置，包括服务发现规则、...
基于kube-prometheus-stack部署监控K8S告警系统资源合集
11-08
`kube-prometheus-stack` 是一个流行的 Kubernetes 监控解决方案，它结合了 Prometheus 和 Grafana 的强大功能，提供了全面的 K8S 集群监控和告警能力。本资源合集将详细介绍如何基于 `kube-prometheus-stack` 部署...
prometheus-openstack-exporter:用于Prometheus监控系统的OpenStack导出器
03-11
Prometheus OpenStack导出器向公开高级指标。 可以使用和可视化数据部署方式要求sudo apt-get install python-neutronclient python-novaclient python-keystoneclient python-netaddr python-cinderclient安装...
vsphere-metrics-prometheus:适用于Prometheus的vSphere指标
04-30
适用于Prometheus的vSphere指标 通过适用于Prometheus的vSphere Metrics，您可以为基于vSphere的基础架构抓取指标。 建筑学 用于Prometheus的vSphere Metrics服务与嵌入在Prometheus中的vSphere Service Discovery（SD）交互（PR待处理），并作为代理为每个vSphere实体提供度量。 vSphere SD机制在您的vSphere基础架构中支持多vCenter到多数据中心。 该模型中存在支持对单个实体或整个逻辑分组进行过滤的机制。 此模型（TBD）可以支持对其他VMware平台（而不仅仅是vSphere）的支持。 架构图 截屏 兼容性 兼容性基于库，该库当前支持ESXi和vCenter 和6.7。 govmomi应该可以与5.5和5.1版本一起使用，但两者均不受官方支持。 因此，适用于Prom
prometheus+vmware_exporter+邮件警报
11-13
prometheus+vmware_exporter+邮件警报，软件自信下载。
K8S主机Prometheus监控kube-state-metrics资源清单及镜像文件
12-30
原文链接：https://blog.csdn.net/m0_37814112/article/details/122170537 说明：上述资源包括部署清单文件、镜像文件、告警规则文件
prometheus-api数据采集
07-22
1. **Target**: 监控的目标，通常是运行在服务器上的应用，Prometheus 会定期抓取这些目标的指标。 2. **Metric**: 度量指标，用于描述系统状态的数据，如 CPU 使用率、内存使用量等。 3. **Label**: 指标的关键字-...
VMware exporter收集Vcenter实现Prometheus监控-2023-10
Fu__Yan的博客
10-28 1740
本文章不做调整，直接使用重写标签 replacement : locahost:9272;vcenter.company.com可修改为VcenterIP。这里的账户密码为 SSO账户密码，不是Esxi 的系统密码。替换其中账户、密码、Vcenter IP。a.装有Docker环境；部分配置需要根据环境修改。
prometheus监控VShereClient7.0_EXSi7.0主机状态
遥襟的博客
06-19 3449
[root@monitor vmware_exporter]# ls docker-compose.yaml [root@monitor vmware_exporter]# cat docker-compose.yaml services: vmware-exporter: image: pryorda/vmware_exporter:v0.11.1 container_name: vmware-exporter restart: unless-stopped port.
监控VMware Esxi 物理机
ligaoman521的博客
09-26 1525
用Prometheus监控VMware Esxi 物理机
prometheus- operator监控istio
07-17
1. 首先，确保你的 Kubernetes 集群已经安装了 Prometheus Operator。你可以根据 Prometheus Operator 的文档进行安装。 2. 确保 Istio 已经安装在你的 Kubernetes 集群中。你可以使用 Istio 的官方文档来完成安装...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值