prometheus cadvisor 容器相关指标

已于 2024-09-24 17:49:38 修改
阅读量1.8k 收藏 14
点赞数 19
分类专栏： Prometheus 文章标签： prometheus
于 2024-09-04 10:17:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34556414/article/details/141866072
版权

cAdvisor 对 Node 节点上的资源及容器进行实时监控和性能数据采集，包括 CPU 、内存、网络吞吐量及文件系统等。

Cadvisor exporter | Grafana Labs

容器监控的内存相关指标：

分类指标名称类型含义
CPUcontainer_cpu_load_average_10sgauge过去 10 秒容器 CPU 的平均负载
container_cpu_usage_seconds_totalcounter容器 CPU 累计使用量 (单位：秒)
container_cpu_system_seconds_totalcounterSystem CPU 累计占用时间（单位：秒）
container_cpu_user_seconds_totalcounterUser CPU 累计占用时间（单位：秒）
内存container_memory_max_usage_bytesgauge容器的最大内存使用量（单位：字节）
container_memory_usage_bytesgauge容器当前的内存使用量（单位：字节），包括缓存等可释放的内存
container_memory_working_set_bytesgauge容器当前的内存使用量（单位：字节）
container_spec_memory_limit_bytesgauge容器的内存使用量限制
machine_memory_bytesgauge当前主机的内存总量
网络container_network_receive_bytes_totalcounter容器网络累积接收数据总量（单位：字节）
container_network_receive_packets_totalcounter容器网络累积接收数据总量（单位：包）
container_network_transmit_bytes_totalcounter容器网络累积发送数据总量（单位：字节）
container_network_transmit_packets_totalcounter容器网络累积发送数据总量（单位：包）
container_network_receive_errors_totalcounter容器网络累计接收错误总量
container_network_transmit_errors_totalcounter容器网络累计发送错误总量

CPU 指标： 

  • container_cpu_load_average_10s：过去 10 秒容器 CPU 的平均负载 。
  • container_cpu_usage_seconds_total：容器在每个 CPU 内核上的累积占用时间（单位：秒）。
  • container_cpu_system_seconds_total：系统 CPU 累积占用时间（单位：秒）。
  • container_cpu_user_seconds_total：用户 CPU 累积占用时间（单位：秒）。
  • container_cpu_cfs_throttled_seconds_total   当容器超出其CPU限制时，Linux运行时将“限制”该容器并在container_cpu_cfs_throttled_seconds_total指标中记录其被限制的时间

内存指标：

  • container_memory_max_usage_bytes：容器的最大内存使用量（单位：字节）。
  • container_memory_usage_bytes：容器当前的内存使用量（单位：字节）。
  • container_spec_memory_limit_bytes：容器的内存使用量限制。
  • container_memory_working_set_bytes-当前工作集（以字节为单位）。简称 wss，k8s使用wss作为oom kill的依据

文件系统指标：

  • container_fs_usage_bytes：容器中文件系统的使用量（单位：字节）。
  • container_fs_limit_bytes：容器可以使用的文件系统总量（单位：字节）。
  • container_fs_reads_bytes_total：容器累积读取数据的总量（单位：字节）。
  • container_fs_writes_bytes_total：容器累积写入数据的总量（单位：字节）。

网络指标：

  • container_network_receive_bytes_total：容器网络累积接收数据总量（单位：字节）。
  • container_network_transmit_bytes_total：容器网络累积传输数据总量（单位：字节）。

 Prometheus 监控--分布式云原生平台-火山引擎

容器组监控

内存 

容器组内存用量Byte
sum(container_memory_working_set_bytes{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!=""})by (pod)
容器组内存使用率（占 limit）%
sum(container_memory_working_set_bytes{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!=""})by(pod)*100
/sum(kube_pod_container_resource_limits{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!="",resource="memory",unit="byte"})by(pod)
容器组内存使用率（占 request）%
sum(container_memory_working_set_bytes{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!=""})by(pod)*100
/sum(kube_pod_container_resource_requests{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!="",resource="memory",unit="byte"})by(pod)

 容器组缓存

sum(container_memory_cache{instance=~"$host",pod=~"$pod",name=~".+"}) by (namespace,pod)

 cpu

容器组 CPU 用量Core
sum(rate(container_cpu_usage_seconds_total{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!=""}[1m]))by(pod)
容器组 CPU 使用率（占 request）%
(sum(rate(container_cpu_usage_seconds_total{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!=""}[1m]))by(pod)/
(sum by(pod)(kube_pod_container_resource_requests{cluster="$clusterId",namespace="$namespace",resource="cpu",pod=~"$pod",container!=""}))*100
容器组 CPU 使用率（占 limit）%
(sum(rate(container_cpu_usage_seconds_total{cluster="$clusterId",namespace="$namespace",pod=~"$pod",container!=""}[1m]))by(pod)/
sum(avg(kube_pod_container_resource_limits{cluster="$clusterId",namespace="$namespace",pod=~"$pod",resource="cpu",container!=""}))by(pod))*100

 

 

 -------------------------------------------------------------------------------------------------------------------

 当能够正常采集到cAdvisor的样本数据后，可以通过以下表达式计算容器的CPU使用率：

（1）sum(irate(container_cpu_usage_seconds_total{image!=""}[1m])) without (cpu)
容器CPU使用率

（2）container_memory_usage_bytes{image!=""}
查询容器内存使用量（单位：字节）:

（3）sum(rate(container_network_receive_bytes_total{image!=""}[1m])) without (interface)
查询容器网络接收量（速率）（单位：字节/秒）：

（4）sum(rate(container_network_transmit_bytes_total{image!=""}[1m])) without (interface)
容器网络传输量字节/秒

查询容器网络接收量速率（单位：字节/秒）：

sum(rate(container_network_receive_bytes_total{image!=""}[1m])) without (interface)

                                                    容器网络接收量 字节/秒

查询容器网络传输量速率（单位：字节/秒）：

                                        容器网络传输量 字节/秒

（5）sum(rate(container_fs_reads_bytes_total{image!=""}[1m])) without (device)
容器文件系统读取速率字节/秒

（6）sum(rate(container_fs_writes_bytes_total{image!=""}[1m])) without (device)
容器文件系统写入速率字节/秒

查询容器文件系统读取速率（单位：字节/秒）：

sum(rate(container_fs_reads_bytes_total{image!=""}[1m])) without (device)

                                           容器文件系统读取速率 字节/秒 

 查询容器文件系统写入速率（单位：字节/秒）：

sum(rate(container_fs_writes_bytes_total{image!=""}[1m])) without (device)

                                           容器文件系统写入速率 字节/秒 

cadvisor 常用容器监控指标
网络流量
sum(rate(container_network_receive_bytes_total{name=~".+"}[1m])) by (name)
##容器网络接收的字节数（1分钟内），根据名称查询 name=~".+"

sum(rate(container_network_transmit_bytes_total{name=~".+"}[1m])) by (name)
##容器网络传输的字节数（1分钟内），根据名称查询 name=~".+"

容器 CPU相关
sum(rate(container_cpu_system_seconds_total[1m]))
###所用容器system cpu的累计使用时间（1min钟内）

sum(irate(container_cpu_system_seconds_total{image!=""}[1m])) without (cpu)
###每个容器system cpu的使用时间（1min钟内）

sum(rate(container_cpu_usage_seconds_total{name=~".+"}[1m])) by (name) * 100
#每个容器的cpu使用率

sum(sum(rate(container_cpu_usage_seconds_total{name=~".+"}[1m])) by (name) * 100)
#总容器的cpu使用率

参数解释

使用Prometheus配置kubernetes环境中Container的CPU使用率时，会经常遇到CPU使用超出100%，下面就来解释一下

  1. container_spec_cpu_period

    当对容器进行CPU限制时，CFS调度的时间窗口，又称容器CPU的时钟周期通常是100，000微秒

  2. container_spec_cpu_quota    container_spec_cpu_quota/container_spec_cpu_period(100000)= pod cpu limit

    是指容器的使用CPU时间周期总量，如果quota设置的是700，000，就代表该容器可用的CPU时间是7*100,000微秒，通常对应kubernetes的resource.cpu.limits的值

  3. container_spec_cpu_share

    是指container使用分配主机CPU相对值，比如share设置的是500m，代表窗口启动时向主机节点申请0.5个CPU，也就是50，000微秒，通常对应kubernetes的resource.cpu.requests的值

  4. container_cpu_usage_seconds_total

    统计容器的CPU在一秒内消耗使用率，应注意的是该container所有的CORE

  5. container_cpu_system_seconds_total

    统计容器内核态在一秒时间内消耗的CPU

  6. container_cpu_user_seconds_total

    统计容器用户态在一秒时间内消耗的CPU
      参考官方地址
      https://docs.signalfx.com/en/latest/integrations/agent/monitors/cadvisor.html
      https://github.com/google/cadvisor/blob/master/docs/storage/prometheus.md

具体公式

  1. 默认如果直接使用container_cpu_usage_seconds_total的话，如下

    sum(irate(container_cpu_usage_seconds_total{container="$Container",instance="$Node",pod="$Pod"}[5m])*100)by(pod)

    默认统计的数据是该容器所有的CORE的平均使用率

  2. 如果要精确计算每个容器的CPU使用率，使用%呈现的形式，如下：

    复杂写法：
sum(irate(container_cpu_usage_seconds_total{container="$Container",instance="$Node",pod="$Pod"}[5m])*100)by(pod)

/

sum(container_spec_cpu_quota{container="$Container",instance="$Node",pod="$Pod"}
/container_spec_cpu_period{container="$Container",instance="$Node",pod="$Pod"})by(pod)


更加简洁写法：
sum(irate(container_cpu_usage_seconds_total{container="$Container",instance="$Node",pod="$Pod"}[5m])*100)by(pod)

/

sum(container_spec_cpu_quota{container="$Container",instance="$Node",pod="$Pod"}
/100000

    其中container_spec_cpu_quota/container_spec_cpu_period，就代表该容器有多少个CORE

  3. 参考官方git issue
    https://github.com/google/cadvisor/issues/2026#issuecomment-415819667
富士康质检员张全蛋
关注
专栏目录
【云原生】Prometheus监控Docker指标并接入Grafana
congge_study的博客
07-07 8440
Prometheus监控Docker指标
Prometheus 使用cadvisor采集docker容器监控数据
极致，细节
11-23 1071
cadvisor_exporter 是一个用于将 cAdvisor 监控数据暴露给 Prometheus 的开源软件。它充当一个代理，运行在与 cAdvisor 相同的主机上，并通过查询 cAdvisor 提供的 API 来获取容器的性能指标和状态信息。cadvisor_exporter 从 cAdvisor 收集各种容器的资源使用情况，如 CPU 利用率、内存使用量、文件系统使用情况、网络流量等，并将这些指标数据转换成 Prometheus 可以理解的格式。
K8S学习笔记0612
weixin_47876662的博客
06-19 3011
K8S笔记
【云原生】Prometheus+Grafana 监控 k8s 资源实战操作
匠人精神，持之以恒！
09-18 1万+
Prometheus是一个开源的系统监控和报警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF托管的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，同时也支持多种exporter采集数据，还支持pushgateway进行数据上报，Prometheus性能足够支撑上万台规模的集群。
Prometheus容器Network、IOPS、CPU、Memory、ETCD 监控指标
喝醉酒的小白
12-19 746
topk(20, rate(container_network_receive_bytes_total{container!=“”, node=“qfusion2”, interface=“eth0”}[3m]))topk(20, rate(container_fs_writes_total{container!=“”, device!~“/dev/mapper/.*”,node=“qfusion2”}[3m]))
docker——监控以及常用监控工具介绍和docker部署
最新发布
qq_43058348的博客
01-04 1680
容器监控时可以依据容器的运⾏状态，即运⾏中、暂停、停⽌及异常退出，来统计各状态的容器的数量，并实时反馈各个容器的运⾏状态。容器的⽤量信息则是⽤户最关⼼的，也是监控中最为复杂的部分，它可以统计容器的CPU使⽤率、内存使⽤量、块设备I/O使⽤量、⽹络使⽤情况等资源的使⽤情况。作为应⽤的直接载体，使⽤者需要对容器的各类信息进⾏实时监控，以保证应⽤的正常运⾏。通过使⽤docker ps 命令，可以查看当前主机上的容器信息，包括容器ID、镜像名、容器启动执⾏命令、创建时间、状态、端⼝信息和容器名称。
如何正确计算 Kubernetes 容器 CPU 使用率
easylife206的专栏
07-23 1757
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！本文转自博客园，原文：https://www.cnblogs.com/apink/p/15767687.html，版权归原作者所有。参数解释使用 Prometheus 配置 kubernetes 环境中 Container 的 CPU 使用率时，会经常遇到 CPU 使用超出 100%，下面就...
Prometheus：监控与告警：11:使用cadvisor监控容器指标
知行合一 止于至善
01-20 2648
前面的文章介绍了使用Node Exporter使用的方式。这篇文章继续介绍一下使用cadvisor提供容器监控指标，使用Prometheus进行收集，然后在Grafana中进行显示的方法。
Prometheus使用cAdvisor 监控容器
zhangshaohuas的博客
09-09 3544
说到容器监控我们自然会想到cAdvisor，我们前面也说过cAdvisor已经内置在了 kubelet 组件之中，所以我们不需要单独去安装，cAdvisor的数据路径为/api/v1/nodes//proxy/metrics，同样我们这里使用 node 的服务发现模式，因为每一个节点下面都有 kubelet，自然都有cAdvisor采集到的数据指标，配置如下： - job_name: 'kubernetes-cadvisor' kubernetes_sd_configs: - role: node
Prometheus 结合cAdvisor、AlertManager、node-exporter 监控容器并实现邮箱告警
Gf19991225的博客
12-30 1872
文章目录一、Prometheus 监控容器二、什么是 cAdvisor三、node1 端 部署cAdvisor 一、Prometheus 监控容器 prometheus是一款面向云原生应用程序的开源监控工具，作为第一个从CNCF毕业的监控工具而言，开发者对于Prometheus寄予了巨大的希望。 在Kubernetes社区中，很多人认为Prometheus是容器场景中监控的第一方案，成为容器监控标准的制定者。 二、什么是 cAdvisor cAdvisor (Container Advisor) 是 Goo
Prometheus+CAdvisor获取本机所有容器的数据
SiKongPop的博客
10-22 1380
具体是参考了这几个博客或代码 １、如何计算想要的指标看这里https://yunlzheng.gitbook.io/prometheus-book/part-ii-prometheus-jin-jie/exporter/commonly-eporter-usage/use-prometheus-monitor-container ２、如何使用request看这里https://requests...
prometheus从入门到实践（3）——Node Exporter&CAdvisor Exporter&mysql Exporter
CapejasmineY的博客
01-21 718
一、简介 Exporter返回的样本数据，主要由三个部分组成：样本的一般注释信息（HELP），样本的类型注释信息（TYPE）和样本。Prometheus会对Exporter响应的内容逐行解析： 如果当前行以# HELP开始，Prometheus将会按照以下规则对内容进行解析，得到当前的指标名称以及相应的说明信息： # HELP <metrics_name> <doc_string> 如果当前行以# TYPE开始，Prometheus会按照以下规则对内容进行解析，得到当前的指标名称以
cgroup源码分析——基于centos3.10.0-693.25.4
Liaosp的博客
11-27 941
因docker研究cgroup cgroup主要是对进程进行控制和审计，cgroup到底是怎么进行工作的呢？从cgroup在进程中的位置入手研究会看的清楚点。 看task_struct的结构： #ifdef CONFIG_CGROUPS /* Control Group info protected by css_set_lock */ struct css_set __rcu *cgr...
Prometheus监控Kubernetes各项指标
ᠮᠤᠷᠢᠨ ᠬᠤᠭᠤᠷ
05-19 5620
Pod监控 1.POD内存使用率 container_memory_rss ：是Pod实际使用内存数 container_spec_memory_limit_bytes： 是分配给Pod的内存配额 sum(container_memory_rss{container!="POD",container!="alermanager",image!="",pod!=""})by(pod) / sum(container_spec_memory_limit_bytes{container!="",con.
Prometheus+grafana监控：cAdvisor输出的容器CPU相关的指标的解读
热门推荐
palet的专栏
11-22 2万+
概述 对容器中的服务进行监控，常见方案是采用Prometheus+grafana。其中对容器服务的CPU的监控有一组指标，本文对它们进行了一些分析和解读，并做了一些试验。 查看cAdvisor输出的容器CPU监控指标 我们使用kubernetes进行管理，自带了容器监控cAdvisor exporter，可以直接通过页面查看监控指标，例如直接访问一台IP为172.18.12.188的node...
Prometheus容器监控指标详解
支棱起来
08-16 2524
CPU使用率 指标名称：container_cpu_usage_seconds_total 容器CPU使用率计算公式详解 注：container_cpu_usage_seconds_total得到的并不是容器的CPU使用率，待我们一层层分析。 第一步： http://10.4.**.***:31263/api/v1/query?query=container_cpu_usage_seconds_t...
k8s部署cadvisor采集指标
10-11
使用Kubernetes部署cAdvisor可以通过以下步骤完成： 1. 创建一个Deployment对象，用于部署cAdvisor容器。示例配置文件如下： ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: cadvisor-deployment spec: replicas: 1 selector: matchLabels: app: cadvisor template: metadata: labels: app: cadvisor spec: containers: - name: cadvisor image: gcr.io/google-containers/cadvisor:v0.37.0 ports: - containerPort: 8080 ``` 保存为`cadvisor-deployment.yaml`文件，并执行以下命令创建Deployment： ``` kubectl apply -f cadvisor-deployment.yaml ``` 2. 创建一个Service对象，用于暴露cAdvisor的指标端口。示例配置文件如下： ```yaml apiVersion: v1 kind: Service metadata: name: cadvisor-service spec: selector: app: cadvisor ports: - protocol: TCP port: 8080 targetPort: 8080 type: ClusterIP ``` 保存为`cadvisor-service.yaml`文件，并执行以下命令创建Service： ``` kubectl apply -f cadvisor-service.yaml ``` 3. 部署完成后，可以通过Service的ClusterIP访问cAdvisor的指标接口。可以使用以下命令获取cAdvisor的ClusterIP： ``` kubectl get service cadvisor-service ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值