Prometheus BlackBox简单监控

最新推荐文章于 2024-03-26 17:46:14 发布
最新推荐文章于 2024-03-26 17:46:14 发布
阅读量2.5k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24794401/article/details/106626054
版权

Prometheus 监控简介

Prometheus 监控分为两种：

  • 白盒监控

  • 墨盒监控

白盒监控：是指我们日常监控主机的资源用量、容器的运行状态、数据库中间件的运行数据。这些都是支持业务和服务的基础设施，通过白盒能够了解其内部的实际运行状态，通过对监控指标的观察能够预判可能出现的问题，从而对潜在的不确定因素进行优化。

墨盒监控：即以用户的身份测试服务的外部可见性，常见的黑盒监控包括 HTTP探针、TCP探针、Dns、Icmp等用于检测站点、服务的可访问性、服务的连通性，以及访问效率等。

两者比较：黑盒监控相较于白盒监控最大的不同在于黑盒监控是以故障为导向当故障发生时，黑盒监控能快速发现故障，而白盒监控则侧重于主动发现或者预测潜在的问题。一个完善的监控目标是要能够从白盒的角度发现潜在问题，能够在黑盒的角度快速发现已经发生的问题。

部署 Prometheus Blackbox 服务

环境：

Blackbox Exporter 部署

Exporter Configmap 定义，可以参考下面两个链接 https://github.com/prometheus/blackbox_exporter/blob/master/CONFIGURATION.md https://github.com/prometheus/blackbox_exporter/blob/master/example.yml

首先得声明一个 Blackbox 的 Deployment，并利用 Configmap 来为 Blackbox 提供配置文件。

$ vim prometheus-blackbox.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: blackbox-config
  namespace: monitoring
data:
  blackbox.yml: |-
    modules:
      http_2xx:  # http 检测模块  Blockbox-Exporter 中所有的探针均是以 Module 的信息进行配置
        prober: http
        timeout: 10s
        http:
          valid_http_versions: ["HTTP/1.1", "HTTP/2"]
          valid_status_codes: [200]  # 默认 2xx，这里定义一个返回状态码，在grafana作图时，有明示。
          method: GET
          headers:
            Host: prometheus.example.com
            Accept-Language: en-US
            Origin: example.com
          preferred_ip_protocol: "ip4" # 首选IP协议
          no_follow_redirects: false # 关闭跟随重定向
      http_post_2xx: # http post 监测模块
        prober: http
        timeout: 10s
        http:
          valid_http_versions: ["HTTP/1.1", "HTTP/2"]
          method: POST
          # post 请求headers, body 这里可以不声明
          headers:  # 使用 json 格式
            Content-Type: application/json
          body: '{"text": "hello"}'
          preferred_ip_protocol: "ip4"
      tcp_connect:  # TCP 检测模块
        prober: tcp
        timeout: 10s
      dns_tcp:  # DNS 通过TCP检测模块
        prober: dns
        dns:
          transport_protocol: "tcp"  # 默认是 udp
          preferred_ip_protocol: "ip4"  # 默认是 ip6
          query_name: "kubernetes.default.svc.cluster.local" # 利用这个域名来检查 dns 服务器
          # query_type: "A"  # 如果是 kube-dns ，一定要加入这个，因为不支持Ipv6
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: blackbox
  namespace: monitoring
spec:
  replicas: 1
  revisionHistoryLimit: 3
  selector:
    matchLabels:
      app: blackbox
  strategy:
    rollingUpdate:
      maxSurge: 30%
      maxUnavailable: 30%
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: blackbox
    spec:
      containers:
      - image: prom/blackbox-exporter:v0.16.0
        name: blackbox
        args:
        - --config.file=/etc/blackbox_exporter/blackbox.yml # ConfigMap 中的配置文件
        - --log.level=info  # 日志级别，可以把级别调到 error
        ports:
        - containerPort: 9115
        volumeMounts:
        - name: config
          mountPath: /etc/blackbox_exporter
      volumes:
      - name: config
        configMap:
          name: blackbox-config
---
apiVersion: v1
kind: Service
metadata:
  name: blackbox
  namespace: monitoring
spec:
  selector:
    app: blackbox
  ports:
  - port: 9115
    targetPort: 9115

# 部署
$ kubectl apply -f prometheus-blackbox.yaml


configmap/blackbox-config created
deployment.apps/blackbox created
service/blackbox created

定义 BlackBox 在 Prometheus 抓取设置

下面抓取设置，都存放在 prometheus-additional.yaml 文件中，设置可参考 https://github.com/prometheus/prometheus/blob/master/documentation/examples/prometheus-kubernetes.yml

DNS 监控

- job_name: "blackbox-k8s-service-dns"
  scrape_interval: 30s
  scrape_timeout: 10s
  metrics_path: /probe # 不是 metrics，是 probe
  params:
    module: [dns_tcp] # 使用 DNS TCP 模块
  static_configs:
  - targets:
    - kube-dns.kube-system:53  # 不要省略端口号
  relabel_configs:
  - source_labels: [__address__]
    target_label: __param_target
  - source_labels: [__param_target]
    target_label: instance
  - target_label: __address__
    replacement: blackbox:9115  # 服务地址，和上面的 Service 定义保持一致

更新 additional-configs secrets配置 ，Prometheus 会自动 reload

# 先删除，在重新创建
$ kubectl delete secrets -n monitoring additional-configs
$ kubectl create secret generic additional-configs --from-file=prometheus-additional.yaml -n monitoring

看到下面输出结果，说明 Prometheus 已重载

打开 Prometheus 的 Target 页面，就会看到 上面定义的 blackbox-k8s-service-dns 任务，到 graph 页面，可以使用 probe_success 和 probe_duration_seconds 等来检查历史结果

HTTP 监控（K8S 内部发现方法）

发现 Service 监控

- job_name: 'kubernetes-http-services'
  metrics_path: /probe
  params:
    module: [http_2xx]  # 使用定义的http模块
  kubernetes_sd_configs:
  - role: service  # service 类型的服务发现
  relabel_configs:
  # 只有service的annotation中配置了 prometheus.io/http_probe=true 的才进行发现
  - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_http_probe]
    action: keep
    regex: true
  - source_labels: [__address__]
    target_label: __param_target
  - target_label: __address__
    replacement: blackbox:9115
  - source_labels: [__param_target]
    target_label: instance
  - action: labelmap
    regex: __meta_kubernetes_service_label_(.+)
  - source_labels: [__meta_kubernetes_namespace]
    target_label: kubernetes_namespace
  - source_labels: [__meta_kubernetes_service_name]
    target_label: kubernetes_name

按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 blackbox-k8s-http-services 任务

自定义发现 Service 监控 端口 和 路径，可以如下设置：

- job_name: 'blackbox-k8s-http-services'
  scrape_interval: 30s
  scrape_timeout: 10s
  metrics_path: /probe
  params:
    module: [http_2xx]  # 使用定义的http模块
  kubernetes_sd_configs:
  - role: service  # service 类型的服务发现
  relabel_configs:
  # 只有service的annotation中配置了 prometheus.io/http_probe=true 的才进行发现
  - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_http_probe]
    action: keep
    regex: true
  - source_labels: [__meta_kubernetes_service_name, __meta_kubernetes_namespace, __meta_kubernetes_service_annotation_prometheus_io_http_probe_port, __meta_kubernetes_service_annotation_prometheus_io_http_probe_path]
    action: replace
    target_label: __param_target
    regex: (.+);(.+);(.+);(.+)
    replacement: $1.$2:$3$4
  - target_label: __address__
    replacement: blackbox:9115
  - source_labels: [__param_target]
    target_label: instance
  - action: labelmap
    regex: __meta_kubernetes_service_label_(.+)
  - source_labels: [__meta_kubernetes_namespace]
    target_label: kubernetes_namespace
  - source_labels: [__meta_kubernetes_service_name]
    target_label: kubernetes_name

然后，需要在 Service 中配置这样的 annotation ：

annotation:
  prometheus.io/http-probe: "true"
  prometheus.io/http-probe-port: "8080"
  prometheus.io/http-probe-path: "/healthCheck"

按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 blackbox-k8s-http-services 任务

发现 Ingress

- job_name: 'blackbox-k8s-ingresses'
  scrape_interval: 30s
  scrape_timeout: 10s
  metrics_path: /probe
  params:
    module: [http_2xx]  # 使用定义的http模块
  kubernetes_sd_configs:
  - role: ingress  # ingress 类型的服务发现
  relabel_configs:
  # 只有ingress的annotation中配置了 prometheus.io/http_probe=true 的才进行发现
  - source_labels: [__meta_kubernetes_ingress_annotation_prometheus_io_http_probe]
    action: keep
    regex: true
  - source_labels: [__meta_kubernetes_ingress_scheme,__address__,__meta_kubernetes_ingress_path]
    regex: (.+);(.+);(.+)
    replacement: ${1}://${2}${3}
    target_label: __param_target
  - target_label: __address__
    replacement: blackbox:9115
  - source_labels: [__param_target]
    target_label: instance
  - action: labelmap
    regex: __meta_kubernetes_ingress_label_(.+)
  - source_labels: [__meta_kubernetes_namespace]
    target_label: kubernetes_namespace
  - source_labels: [__meta_kubernetes_ingress_name]
    target_label: kubernetes_name

按上面方法重载 Prometheus，会出现下面报错，报权限不足

解决方法：在 prometheus-clusterRole.yaml 后面添加下面内容

- apiGroups:
  - extensions
  resources:
  - ingresses
  verbs:
  - get
  - list
  - watch

$ kubectl apply -f prometheus-clusterRole.yaml

打开 Prometheus 的 Target 页面，就会看到 上面定义的 blackbox-k8s-ingresses 任务

HTTP 监控（监控外部域名）

- job_name: "blackbox-external-website"
  scrape_interval: 30s
  scrape_timeout: 15s
  metrics_path: /probe
  params:
    module: [http_2xx]
  static_configs:
  - targets:
    - https://www.example.com # 要检查的网址
    - https://test.example.com
  relabel_configs:
  - source_labels: [__address__]
    target_label: __param_target
  - source_labels: [__param_target]
    target_label: instance
  - target_label: __address__
    replacement: blackbox:9115

打开 Prometheus 的 Target 页面，就会看到 上面定义的 blackbox-external-website 任务

HTTP Post 监控（监控外部域名）

- job_name: 'blackbox-http-post'
  metrics_path: /probe
  params:
    module: [http_post_2xx]
  static_configs:
    - targets:
      - https://www.example.com/api # 要检查的网址
  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - source_labels: [__param_target]
      target_label: instance
    - target_label: __address__
      replacement: blackbox:9115

打开 Prometheus 的 Target 页面，就会看到 上面定义的 blackbox-http-post 任务

Grafana Dashboard

Grafana 官网找到的一个Dashboard

  • https://grafana.com/grafana/dashboards/9965

小结

Prometheus Blackbox 除了支持对 HTTP 协议进行网络探测以外，Blackbox 还支持对 TCP、DNS、ICMP 等其他网络协议，大家感兴趣的可以从 Blackbox 的 Github项目中获取更多使用方法。

参考链接

  • https://github.com/prometheus/blackbox_exporter/blob/master/CONFIGURATION.md

  • https://github.com/prometheus/blackbox_exporter/blob/master/example.yml

  • https://www.qikqiak.com/post/blackbox-exporter-on-prometheus/

  • https://blog.fleeto.us/post/blackbox-monitor-dns-web/

往期精彩文章

您的关注是小站的动力

欢迎大家关注交流，定期分享自动化运维、DevOps、Kubernetes、Service Mesh和Cloud Native

扫码『加群』交流技术

YP小站
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
K8S主机Prometheus监控blackbox-exporter(kubernetes_sd_files)资源清单及镜像文件
01-18
原文链接：https://blog.csdn.net/m0_37814112/article/details/122503583
Promethues operate blackbox(http/tcp/dns/icmp探测)
jiayu的博客
07-03 1531
Promethues operate blackbox(http/tcp/dns/icmp探测)部署参考
【Prometheus】使用Blackbox监控服务器以及应用
cnskylee的博客
04-01 2752
使用blackbox这个prometheus插件，可以轻松实现对服务器可用性、应用页面可用性以及应用端口可用性进行监控。 效果如下图所示： 把Tomcat服务停了，页面访问、应用端口可用性就探测不到了 再把Tomcat服务启动起来，可用性指标就下降了，不再是100%了 参考： https://github.com/prometheus/blackbox_exporter https://grafana.com/grafana/dashboards/99...
Prometheus（六）：Blackbox监控安装配置
最新发布
dl_11的博客
03-26 1039
blackbox_exporter 是 Prometheus 拿来对 http/https、tcp、icmp、dns、进行的黑盒监控工具，也就是从服务、主机等外部进行探测，来查看服务、主机等是否可用。Blackbox Exporter 默认端口是 9115，blackbox exporter 多用于在 服务、主机外部，对其进行IP、域名、端口等的探测，每种类型的配置都有差别，根据需要进行配置。
prometheus-operator-stack使用blackbox对站点进行检查
u010533742的博客
05-13 668
1、在k8s中安装blackbox blackbox.yaml apiVersion: v1 kind: ConfigMap metadata: name: blackbox-config namespace: monitoring data: blackbox.yml: |- modules: http_2xx: prober: http timeout: 5s http: http_p
Prometheus Operator + blackbox_exporter 监控Web页面
少说多做
08-08 3559
背景 目前生产环境使用Zabbix自带的web监控模块对所有子优鸟页面进行监控，由于目前Zabbix服务器为单节点，经常出现取不到web监控数据的情况。现将web监控迁移到Prometheus上。 但是线上prometheus的部署是使用prometheus operator实现的，部署了很多的ServiceMonitor 和 PrometheusRule。Prometheus Operato...
Prometheus学习之Blackbox
kongxx的专栏
02-16 2924
简介 Prometheus 的探针监控可以在应用程序的外部对应用程序进行探测，比如：探测机器的 http 服务是否工作正常等。 这里就看看怎样使用 Prometheus 的 Blackbox Exporter 来实现这个功能。 Prometheus 的 Blackbox Exporter 允许通过 HTTP/HTTPS，TCP 和 ICMP 等来探测端点。 安装 首先从 https://prome...
K8S主机Prometheus监控blackbox-exporter(file_sd_configs)资源清单及镜像文件
01-19
原文链接：https://blog.csdn.net/m0_37814112/article/details/122538085 说明：基于file_sd_configs部署blackbox-exporter监控k8s服务
Prometheus+blackbox_exporter监控Linux主机端口
01-20
一、环境说明 172.16.38.246--->...wget https://github.com/prometheus/blackbox_exporter/releases/download/v0.16.0/blackbox_exporter-0.16.0.linux-amd64.tar.gz tar xvf blackbox_exporter-
blackbox_exporter
07-07
prometheus 墨盒监控工具
pingprom：Prometheus正常运行时间监控快速入门
02-03
pingprom：Prometheus正常运行时间监控快速入门
prometheus 通过blackbox监控ip
依步_的专栏
07-06 2371
tcp方式： - job_name: 'kubernetes-probe-vip-tcp' static_configs: - targets: ['nfs-vip:2049'] labels: vip_device: 'nfs-vip' instance: nfs-vip metrics_path: /probe params:
Prometheus Operator概述
小楼一夜听春雨，深巷明朝卖杏花
07-13 1530
在前面，我们单纯手工管理Prometheus还是复杂一些，因为它有很多东西需要我们去维护，特别是当有很多指标的时候需要我们去手工抓取和配置。前面我们用自定义的方式来对 Kubernetes 集群进行监控，基本上也能够完成监控报警的需求了。但实际上对上 Kubernetes 来说，还有更简单方式来监控报警，那就是 Prometheus Operator。Prometheus Operator 为监控 Kubernetes 资源和 Prometheus 实例的管理提供了简单的定义，简化在 Kubernetes
【云原生学习】Prometheus-operator监控告警方案说明
九离的博客
03-24 2590
Prometheus-operator监控方案说明 一、Prometheus介绍 1.1 简介 Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统，由工作在 SoundCloud 的 google 前员工在 2012 年创建，作为社区开源项目进行开发，并于 2015 年正式发布。2016 年，Prometheus 正式加入 Cloud Native Computing Foundation，成为受欢迎度仅次于 Kubernetes 的项目。 作为新一代
k8s prometheus-operator+grafana+alertmanager+钉钉告警
闹着玩儿的博客
03-01 4619
简介 Prometheus是一个开源系统监控和警报工具包，最初在 SoundCloud构建。自 2012 年成立以来，许多公司和组织都采用了 Prometheus，该项目拥有非常活跃的开发者和用户社区。它现在是一个独立的开源项目，独立于任何公司维护。为了强调这一点，并明确项目的治理结构，Prometheus 于 2016 年加入 云原生计算基金会，成为继Kubernetes之后的第二个托管项目。 Prometheus 将其指标收集并存储为时间序列数据，即指标信息与记录时的时间戳以及称为标签的可选键值..
API-BlackBox-exporter监控服务接口API
qq_45464560的博客
08-13 2230
API-BlackBox-exporter监控服务接口API一、安装BlackBox-exporter二、配置blackbox_exporter三、在prometheus中配置要检查的API 一、安装BlackBox-exporter 1、下载安装 各个版本的blackbox_exporter https://github.com/prometheus/blackbox_exporter/releases 以linux系统为例，下载编译好的二进制包，解压使用： 也可以在linux系统上wget命令下载 wg
[BlackBox项目]Postnuke用户操作分析
DigitalSonic的自留地
05-09 1215
1、添加用户(最简方法)=====================Step 1: 插入一条记录到nuke_users表，以下没有涉及的项目都有默认值，不用特别在INSERT语句中说明pn_uid    用户编号，会自增1，除非你想指定ID，否则别管它pn_name    用于显示的用户名，默认pn_uname    用户名pn_email    Emailpn_femail    假的Emai
Prometheus 监控之 Blackbox_exporter黑盒监测 [icmp、tcp、http(get\post)、dns、ssl证书过期时间]
热门推荐
qq_25934401的博客
11-21 8万+
Blackbox_exporter 主动监测主机与服务状态 Prometheus 官方提供的 exporter 之一，可以提供 http、dns、tcp、icmp 的监控数据采集 官方github: https://github.com/prometheus/blackbox_exporter 部署Blackbox_exporter [sss@prometheus01 blackbox_expor...
Prometheus+blackbox_exporter监控url(get、post)及ssl证书
希的博客
03-27 1201
下面是两个告警规则，因为有的url接口就是慢，也不影响业务，所以统一配置成超过1秒告警，会导致某些时间频繁报警，所以可以根据 =～ 和 = 的方法配置某一个规则大于1.5秒才告警；解压后可以看到prometheus.yml、blackbox.yml。需要修改该模块监听post请求 http_post_2xx。
prometheus的blackbox监控网站响应时间怎么做
02-15
Prometheus 的 Blackbox 监控模块可以监控网站的响应时间。要实现这一目的，你需要执行以下步骤： 1. 配置 Prometheus 的 Blackbox 监控模块：在 Prometheus 配置文件中，添加以下内容以启用 Blackbox 监控： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值