Prometheus operator 系统参数和监控数据抓取调优

于 2024-08-12 19:46:31 发布
阅读量863 收藏 22
点赞数 14
分类专栏： kubernetes 文章标签： prometheus kubernetes 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43798031/article/details/141138117
版权

一、部署环境

    prometheus 目前我们是使用operator 部署的单点实例，部署在k8s集群中的 10.53.7.138节点，这台机器专用于部署prometheus。业务容器不允许调度在这台机器上

二、使用场景

  1. 采集和存储线上k8s集群的所有监控数据,包含基础服务组件例如etcd、kubelet、coredns等，同时还有最主要的就是pod的监控以及k8s node节点的监控
  2. 存储业务打点数据，配置serviceMonitor 采集业务监控指标用于实现业务的监控展示以及报警
  3. 集群外自定义的exporter、例如nginx_exporter、以及非集群内的主机监控
  4. 告警rules配置

三、问题现象

3.1 prometheus 磁盘存储暴涨

3.2 prometheus 占用大量内存导致触发kubelet驱逐事件

四、优化方案

干货来了～

4.1 prometheus参数调优和数据抓取优化

4.1.1 operator 配置文件优化

我当前的版本是 version: v2.48.1

  spec:
    # additionalScrapeConfigs: 指定额外的抓取配置，通过 Kubernetes Secret 存储，并通过 key 指定文件名称。
    additionalScrapeConfigs:
      key: prometheus-additional.yaml
      name: additional-scrape-configs
    # 节点亲和性配置，要求 Pod 安排到具有 deploy: prometheus 标签的节点上
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: deploy
              operator: In
              values:
              - prometheus
    alerting:
      alertmanagers:
      - apiVersion: v2
        name: uk8s-alertmanager
        namespace: uk8s-monitor
        pathPrefix: /
        port: web
    containers:
    - args:
      - --storage.tsdb.max-block-duration=1h
      - --storage.tsdb.min-block-duration=30m
      - --storage.tsdb.no-lockfile
      - --storage.tsdb.wal-compression
      - --web.console.templates=/etc/prometheus/consoles
      - --web.console.libraries=/etc/prometheus/console_libraries
      - --storage.tsdb.retention.size=900GB
      - --config.file=/etc/prometheus/config_out/prometheus.env.yaml
      - --storage.tsdb.path=/prometheus
      - --storage.tsdb.retention.time=10d
      - --web.enable-lifecycle
      - --web.external-url=http://prometheus.xxx.cn
      - --web.route-prefix=/
      - --web.config.file=/etc/prometheus/web_config/web-config.yaml
      - --query.timeout=2m
      - --query.max-concurrency=20
      - --query.max-samples=5000000
      - --web.max-connections=512
      name: prometheus
    enableAdminAPI: false
    evaluationInterval: 60s
    externalUrl: http://prometheus.xxx.cn
    image: quay.io/prometheus/prometheus
    listenLocal: false
    logFormat: logfmt
    logLevel: info
    paused: false
    podMetadata:
      labels:
        k8s-app: uk8s-monitor
    podMonitorNamespaceSelector: {}
    podMonitorSelector: {}
    portName: web
    replicas: 1
    resources:
      limits:
        cpu: 13
        memory: 55Gi
      requests:
        cpu: 13
        memory: 55Gi
    retention: 10d
    retentionSize: 900GB
    routePrefix: /
    ruleNamespaceSelector: {}
    ruleSelector: {}
    scrapeInterval: 60s
    scrapeTimeout: 10s
    secrets:
    - etcd-client-cert
    securityContext:
      fsGroup: 2000
      runAsGroup: 2000
      runAsNonRoot: true
      runAsUser: 1000
    serviceAccountName: prometheus
    serviceMonitorNamespaceSelector: {}
    serviceMonitorSelector: {}
    #  存储配置，使用 PVC（PersistentVolumeClaim）模版
    storage:
      volumeClaimTemplate:
        metadata:
          labels:
            k8s-app: uk8s-monitor
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 1000Gi
          storageClassName: ssd-csi-udisk
    # 容忍性，允许 Pod 调度到具有 business=sre 污点的节点上，具有 NoSchedule 效应
    tolerations:
    - effect: NoSchedule
      key: business
      operator: Equal
      value: sre
    version: v2.48.1
    walCompression: true

重要的参数解释

  args启动参数解释

--storage.tsdb.max-block-duration=1h: 设置最大数据块持续时间为1小时。

--storage.tsdb.min-block-duration=30m: 设置最小数据块持续时间为30分钟。

--storage.tsdb.no-lockfile: 禁用锁文件。

--storage.tsdb.wal-compression: 启用 WAL（Write Ahead Log）压缩。

--storage.tsdb.retention.size=900GB: 数据保留大小为900GB。

--storage.tsdb.retention.time=10d: 数据保留时间为10天。

--web.enable-lifecycle: 启用生命周期管理。

--query.timeout=2m: 查询超时时间2分钟。

--query.max-concurrency=20: 最大并发查询数量20。

--query.max-samples=5000000: 单次查询的最大样本数5,000,000。

--web.max-connections=512: 最大 HTTP 连接数512。

 全局配置

  scrapeInterval: 60s  # 全局抓取间隔60秒
  scrapeTimeout: 10s  # 全局抓取超时10秒
  evaluationInterval: 60s  # 规则评估间隔时间，为60秒。

4.2 监控数据抓取优化

4.2.1 完整配置如下

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: xxx
  namespace: xxx
spec:
  endpoints:
  - interval: 30s
    path: /actuator/prometheus
    port: 9203tcp
    scheme: http
    scrapeTimeout: 10s
    relabelings:
    - action: labeldrop
      regex: 'namespace|container|endpoint|job|user'
  sampleLimit: 200000 # 限制每个抓取请求的样本数
  namespaceSelector:
    matchNames:
    - xxx
  selector:
    matchLabels:
      k8sapp: xxx

4.2.2 配置说明

spec: 定义 ServiceMonitor 的详细配置。

endpoints: 定义 Prometheus 如何抓取服务数据的一个或多个终端点。

interval: 30s: 抓取间隔时间，每 30 秒抓取一次数据。

path: /actuator/prometheus: URL 路径，Prometheus 使用这个路径来抓取指标数据。

port: 9203tcp: 服务的端口号，到这个端口发送请求抓取数据。

scheme: http: 使用的协议，这里是 HTTP。

scrapeTimeout: 10s: 抓取超时时间，如果超过 10 秒，请求将会超时。



relabelings: 标签重写规则，用于修改或删除标签。

action: labeldrop: 表示要删除标签。

regex: 'namespace|container|endpoint|job|user': 使用正则表达式匹配标签名称，这里匹配的标签包括 namespace, container, endpoint, job, 和 user。
  • spec: 定义 ServiceMonitor 的详细配置。
  • endpoints: 定义 Prometheus 如何抓取服务数据的一个或多个终端点。
    • interval: 30s: 抓取间隔时间，每 30 秒抓取一次数据。
    • path: /actuator/prometheus: URL 路径，Prometheus 使用这个路径来抓取指标数据。
    • port: 9203tcp: 服务的端口号，到这个端口发送请求抓取数据。
    • scheme: http: 使用的协议，这里是 HTTP。
    • scrapeTimeout: 10s: 抓取超时时间，如果超过 10 秒，请求将会超时。

relabelings: 标签重写规则，用于修改或删除标签。

  • action: labeldrop: 表示要删除标签。
  • regex: 'namespace|container|endpoint|job|user': 使用正则表达式匹配标签名称，这里匹配的标签包括 namespace, container, endpoint, job, 和 user。
  • sampleLimit: 200000: 设置每次抓取请求允许的最大样本数，限制在 200,000 样本内。这是为了防止单次抓取请求产生过多样本，导致性能问题。

4.2.3 关键点总结

  1. 抓取配置:

    • 频率: 每 30 秒抓取一次。
    • 路径: 请求 /actuator/prometheus 路径。
    • 端口: 使用端口 9203tcp。
    • 协议: 使用 HTTP 协议。
    • 超时: 请求超时时长为 10 秒。

  2. 标签重写:

    • 使用 labeldrop 操作和正则表达式删除不需要的标签 namespace, container, endpoint, job, user 以减少标签的基数。

  3. 样本限制:

    • sampleLimit 配置限制每次抓取请求的样本数，以防止因单一抓取请求导致的过高开销。

这份 ServiceMonitor 配置定义了 Prometheus 如何从指定服务中抓取指标数据，如何处理标签以减少存储压力，以及如何限制抓取请求的样本数来优化性能和资源使用。通过这些配置，可以确保 Prometheus 高效地监控符合条件的服务并合理管理资源。

4.3 业务方要遵守以下规则

4.3.1 基本命名规范

指标命名
  • 简洁明了：指标名称应当简洁、描述性强。避免使用复杂、难以理解的名称。 
    http_requests_total
  • 使用标准前缀和单位：遵循 Prometheus 社区推荐的命名惯例，例如 _total 表示计数器， _duration_seconds 表示时间度量。 
    request_duration_seconds

4.3.2 标签（Label）设计

标签名称
  • 规范化名称：标签应使用规范化的名称，避免大小写混用。 
    service, region, method
控制基数
  • 避免高基数标签：不要使用会产生高基数的标签值，例如用户ID、IP地址、唯一请求ID等。高基数标签会导致大量时间序列，增加存储和检索的负担。 
    // Bad: method is too granular
status_code{method="/users/123/profile", service="user-service"}

// Good: use generalized method
status_code{method="GET", service="user-service"}

4.3.3. 衡量类型和用途

计数器（Counter）

计数器是单调递增的度量，用于记录事件的总数量。

httpRequestsTotal := prometheus.NewCounter(prometheus.CounterOpts{
  Name: "http_requests_total",
  Help: "Total number of HTTP requests.",
})
仪表（Gauge）

仪表用于记录能够增加和减少的数值，例如当前的内存使用。

memoryUsage := prometheus.NewGauge(prometheus.GaugeOpts{
  Name: "memory_usage_bytes",
  Help: "Current memory usage in bytes.",
})
直方图（Histogram）和摘要（Summary）

直方图和摘要用于分布统计，特别适合记录请求持续时间或响应大小等度量。

requestDurationHist := prometheus.NewHistogram(prometheus.HistogramOpts{
  Name:    "http_request_duration_seconds",
  Help:    "Duration of HTTP requests in seconds.",
  Buckets: prometheus.LinearBuckets(0.01, 0.05, 10), // 0.01s to 0.51s
})

4.3.4 合理模块化与封装

封装指标创建

将指标的创建与初始化封装在一个独立的模块中，使代码更具可维护性和重用性

package metrics

import (
  "github.com/prometheus/client_golang/prometheus"
)

var (
  HttpRequestsTotal = prometheus.NewCounter(prometheus.CounterOpts{
    Name: "http_requests_total",
    Help: "Total number of HTTP requests.",
  })
  MemoryUsage = prometheus.NewGauge(prometheus.GaugeOpts{
    Name: "memory_usage_bytes",
    Help: "Current memory usage in bytes.",
  })
  ...
)

func Init() {
  prometheus.MustRegister(HttpRequestsTotal, MemoryUsage)
}

4.3.5 优化打点性能

缓存和批处理

根据实际情况，适当缓存数据并进行批处理，减少对指标的频繁操作。

// Example of batch processing
func ProcessDataBatch(batch []Data) {
  start := time.Now()
  for _, data := range batch {
    process(data)
    metrics.DataProcessed.Inc()
  }
  duration := time.Since(start).Seconds()
  metrics.BatchProcessDuration.Observe(duration)
}
延迟操作

仅在必要时更新指标，尽量减少对性能的影响。

if needToUpdateMetrics {
  metrics.HttpRequestsTotal.Inc()
}

4.3.6 文档与注释

注释与文档

为每个指标添加适当的注释和文档，帮助其他开发者理解指标的用途和含义

// HttpRequestsTotal counts the total number of HTTP requests received.
var HttpRequestsTotal = prometheus.NewCounter(prometheus.CounterOpts{
  Name: "http_requests_total",
  Help: "Total number of HTTP requests received.",
})

Cloud孙文波
关注
专栏目录
prometheus operator使用持久存储
IT
05-27 2704
kube-prometheus使用持久存储 prometheus operator部署参考： https://blog.csdn.net/networken/article/details/85620793 持久存储配置参考： https://github.com/coreos/prometheus-operator/blob/master/Documentation/user-guides/storage.md prometheus默认使用empty-dir存储数据，pod迁移或重启监控数据将丢失，下面以
prometheus-operator
03-31
2021年3月26日开会 会议的目的是对客户EKS部署进行安全审查。 参会者 Holicka，George（HBC）Blyuss，Igor（HBC）Perri，Stephen（AWS）Bertolazzi，Renan（AWS）Sarathy，Bhavna（AWS）Sarathy，Viji（AWS） 背景 在2021年第16场比赛中，攻击者获得了对EKS群集中应用程序使用的访问密钥的访问权限。 这样，攻击者就可以使用AWS API获得对Secrets Manager的读写访问权限，列出和读取S3存储桶，描述EC2实例以及ECS / EKS集群。 AWS支持人员协助检查和遏制了漏洞，并被要求检查VPC Flow日志和CloudTrail日志，以识别攻击者如何获取访问密钥。 飞索团队的评估 客户与Zipline团队进行了接触，这是他们对事件的处理：我们提供的是Zipline团队能够基于客户启用和
Prometheus Operator - 每天5分钟玩转 Docker 容器技术（177）
weixin_34080951的博客
06-05 93
前面我们介绍了 Kubernetes 的两种监控方案 Weave Scope 和 Heapster，它们主要的监控对象是 Node 和 Pod。这些数据对 Kubernetes 运维人员是必须的，但还不够。我们通常还希望监控集群本身的运行状态，比如 Kubernetes 的 API Server、Scheduler、Controller Manager ...
部署 Prometheus Operator - 每天5分钟玩转 Docker 容器技术（179）
weixin_34001430的博客
06-10 128
本节在实践时使用的是 Prometheus Operator 版本 v0.14.0。由于项目开发迭代速度很快，部署方法可能会更新，必要时请参考官方文档。 下载最新源码 git clone https://github.com/coreos/prometheus-operator.git cd prometheus-operator 为方便管理，创建一个单...
总结：Prometheus Operator
w2009211777的专栏
04-04 5501
一、Operator介绍 Operator是由CoreOS公司开发的用来扩展Kubernetes API的特定应用程序控制器，用来创建、配置和管理复杂的有状态应用，例如数据库、缓存和监控系统。Operator基于kubernetes的资源和控制器概念上构建，但同时又包含了应用程序特定的领域知识。创建Operator的关键是CRD（自定义资源）的设计。 Operator是将运维人员对软件操作的知识代码化，同时利用Kubernetes强大的抽象来管理大规模的软件应用。目前CoreOS官方提供了几种Opera
利用Prometheus实现应用性能监控与调优
应用性能问题可能源自硬件、软件以及网络等多方面因素，而要深入了解这些问题，就需要通过应用性能监控系统来收集和分析数据，以便快速发现问题的症结所在，并及时作出调整优化。 ## 1.2 应用性能监控与调优对企业...
Prometheus监控K8S
06-16
此外，还需要配置Grafana的数据源（Prometheus）和仪表板，以便展示监控数据。 6. **配置Alertmanager**（可选）：如果需要警报功能，Alertmanager将被部署来处理Prometheus触发的警报，并将它们发送给操作员。yaml...
Helm 和Prometheus整合及监控实践
Prometheus是一个开源的系统监控和警报工具集，它通过收集时间序列数据来监控分布式系统，并提供了强大的查询语言和灵活的警报机制，帮助我们实现对应用程序和基础设施的全面监控。 Helm和Prometheus的整合意味着...
【云原生进阶之容器】第四章Operator原理4.3节--Operator模式
junbaozi的专栏
01-14 1086
​Kubernetes Operator概念是由CoreOS的工程师于2016年提出的，它是在Kubernetes集群上构建和驱动每个应用程序的高级原生方法，需要特定领域的知识。通过与Kubernetes API的密切合作，它提供了一种一致的方法来自动处理所有应用程序操作流程，而无需任何人工响应。换句话说，Operator是打包，运行和管理Kubernetes应用程序的一种方式。
prometheus-operator：Prometheus Operator在Kubernetes上创建配置管理Prometheus集群
02-03
普罗米修斯算子 项目状态：测试版并非所有计划的功能都已完成。 API，规范，状态和其他面向用户的对象可能会更改，但以向后兼容的方式。 注意：项目以前称为coreos / prometheus-operator。 总览 Prometheus Operator提供对及其相关监视组件的本地部署和管理。 该项目的目的是简化和自动化针对Kubernetes集群的基于Prometheus的监视堆栈的配置。 Prometheus运算符包括但不限于以下功能： Kubernetes自定义资源：使用Kubernetes自定义资源来部署和管理Prometheus，Alertmanager和相关组件。 简化的部署配置：从本地Kubernetes资源配置Prometheus的基础知识，例如版本，持久性，保留策略和副本。 Prometheus目标配置：基于熟悉的Kubernetes标签查询自动生成监视目标配置； 无需学习Prometheus特定的配置语言。 有关Prometheus Operator的介绍，请参阅指南。 普罗米修斯算子vs库伯普罗米修斯vs社区掌舵图 普罗米修斯算子 Promethe
Kubernetes中使用Prometheus进行监控
# 1. 简介 ### 1.1 什么是Kubernetes？ Kubernetes是一个开源的容器编排引擎，最初由Google设计并...Prometheus是一个开源的系统和应用程序监控和警报工具包。它最初由SoundCloud开发，现已成为CNCF的一部分。Prom
Prometheus Operator（一）
qq_23435961的博客
12-10 576
Prometheus Operator（一） 之前的文章介绍过传统方式安装Prometheus来监控集群，但是这种方式有一定的缺陷虽然完全可以用自定义方式来实现，但是不够灵活，不具有通用性。在自定义监控时还需要不断的更新Prometheus的配置。如果是kubernetes集群完全可以使用一种更原始的方式来实现kubernetes集群监控，即采用Prometheus Operator Operator是由CoreOS公司开发的用来扩展Kubernetes API的特定应用程序控制器，用来创建、配置和管理复
Prometheus Operator
阿甘兄
05-05 637
文章目录01 引言02 初识Prometheus Operator2.1 什么是Prometheus Operator?2.2 Prometheus Operator能做什么？03 在Kubernetes集群中部署Prometheus Operator3.1 下载3.2 配置04 Prometheus Operator的使用4.1 Operator管理Prometheus4.1.1 创建Prometheus实例4.1.2 使用ServiceMonitor管理监控配置4.1.3 关联Promethues与Se
prometheus operator
最新发布
qq_31055683的博客
07-15 1141
Prometheus 开源的系统监控和报警框架，本身也是一个时序数据库（TSDB）
prometheus-operator介绍
lyh24k的博客
02-24 6075
架构 这是官方的架构图 prometheus-operator的作用主要是用来创建prometheus的相关资源以及监视与管理它创建出来的资源对象。 Operator： 根据自定义资源（Custom Resource Definition / CRDs）来部署和管理 Prometheus Server，同时监控这些自定义资源事件的变化来做相应的处理，是整个系统的控制中心。 Prometheus：声明 Prometheus deployment 期望的状态，Operator 确保这个 deploy
Prometheus学习整理-Prometheus-operator
qq_59369367的博客
01-25 1249
Prometheus学习整理-Prometheus-operator
Kubernetes更优雅的监控工具Prometheus Operator
weixin_34004576的博客
11-02 876
Kubernetes更优雅的监控工具Prometheus Operator [TOC] 1. Kubernetes Operator 介绍 在 Kubernetes 的支持下，管理和伸缩 Web 应用、移动应用后端以及 API 服务都变得比较简单了。其原因是这些应用一般都是无状态的，所以 Deployment 这样的基础 Kubernetes API 对象就可以在无需附加操作的情况下，对应用进行伸...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cloud孙文波

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值