kube_pod_container_resource_requests_xxx指标与实际占用不符

最新推荐文章于 2023-03-24 22:12:50 发布
最新推荐文章于 2023-03-24 22:12:50 发布
阅读量963 收藏 1
点赞数
分类专栏： k8s troubleshoot 文章标签： 运维 kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37844885/article/details/126248484
版权

问题描述

kube_pod_container_resource_requests_cpu_cores指标与实际占用不符

原因分析：

kubectl get po -A 发现存在大量Completed和Evicted状态的pod

在这里插入图片描述
查询grafana指标会发现当前指标查询出的数据包含已经退出的pod信息

既然数据是由kube-state-metrics提供的，那么我们去看一下kube-state-metrics获取数据的逻辑
在这里插入图片描述
查看源码进行分析
在这里插入图片描述
kube-metrics是获取apiserver的数据然后进行转换，虽然pod进入到退出状态，但是pod仍然存在在etcd的数据当中，所以遍历获取pod信息的时候还是拿到了相关数据

解决方案

不影响调度，因为节点可分配没有问题
可以手动进行清理操作，释放requests指标

六六哒
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
K8S体系监控-kube-state-metrics集群资源监控
运维打怪晋级之路
10-09 9900
kube-state-metrics 指标数据 1、kube-state-metrics说明 kube-state-metrics关注于获取k8s各种资源的最新状态，如deployment或者daemonset，之所以没有把kube-state-metrics纳入到metric-server的能力中，是因为他们的关注点本质上是不一样的。metric-server仅仅是获取、格式化现有数据，写入特定的存储，实质上是一个监控系统。而kube-state-metrics是将k8s的运行状况在内存中做了个快照，.
JVM 内存与 K8s 容器内存不一致引发的 OOMKilled 总结
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
01-17 559
在我们日常的工作当中，通常应用都会采用 Kubernetes 进行容器化部署，但是总是会出现一些问题，例如，JVM 堆小于 Docker 容器中设置的内存大小和 Kubernetes 的内存大小，但是还是会被 OOMKilled。在此我们介绍一下 K8s 的 OOMKilled 的 Exit Code 编码。Exit Code 137表明容器收到了 SIGKILL 信号，进程被杀掉，对应 kill...
kubenetes创建pod状态卡在ContainerCreating
aspace123的博客
08-22 2245
查看系统日志/var/log/messages，报错如下 原因是无法按地址下载到pod-infrastructure镜像 查找该镜像docker search pod-infrastructure，找一个能用的 查看kubelet配置文件cat /etc/kubernetes/kubelet 将红框中配置改为图上任意可用镜像 重启如下服务即可 systemctl resta...
kubernetes(k8s)为容器和 Pod 分配内存资源
qq_46162321的博客
03-24 2094
展示如何将内存请求（request）和内存限制（limit）分配给一个容器。我们保障容器拥有它请求数量的内存，但不允许使用超过限制数量的内存。
服务器Centos缓存(buff/cache)的优化
qq_34246965的博客
10-24 7929
缓存机制 在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。 缓存机制优点： 减少系统调用次数，降低CPU上下文切换和磁盘访问频率。 CPU上下文切换： CPU给每个进程一定的服务时间，当时间片用完后，内核从正在运行的进程中收回处理器，同时把进程当前运行状态保存下来，然后加载下一个任务，这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程
Prometheus Operator 常用指标
因上努力，果上随缘。但行好事，莫问前程。
08-03 1520
Operator 安装完成后会有很多默认的监控指标，一不注意就大量的报警产生，所以我们非常有必要了解下这些常用的监控指标，有部分指标很有可能对于我们自己的业务可有可无，所以可以适当的进行修改，这里我们就来对常用的几个指标进行简单的说明。...
kube_dist:Kubernetes 集群中的 Erlang 分布
05-31
正确配置kube_dist ，erlang 节点的名称设置为${CONTAINER_NAME}@${POD_NAME} 。 此外，您可以使用 Kubernetes 的服务作为您的进程注册表。 gen_server:call({via, kube_endpoints, ServiceName}, Request) 请求...
kube_security_lab
04-02
Kubernetes本地安全测试实验室该项目的目标是利用，特别创造一台机器上测试Kubernetes漏洞和安全工具完全没有本地远程资源或虚拟机的任何要求向上旋转实验室环境。 为了灵活地设置各种易受攻击的集群，我们使用了...
aks_web_kube_yaml_code
03-03
aks_web_kube_yaml_code
kube_slave_role
03-21
kube_slave_role
kube_api
04-01
kube_api
如何精简 Prometheus 的指标和存储占用
east4ming的博客
11-18 3173
前言 随着 Prometheus 监控的组件、数量、指标越来越多，Prometheus 对计算性能的要求会越来越高，存储占用也会越来越多。 在这种情况下，要优化 Prometheus 性能, 优化存储占用. 第一时间想到的可能是各种 Prometheus 的兼容存储方案, 如 Thanos 或 VM、Mimir 等。但是实际上虽然集中存储、长期存储、存储降采样及存储压缩可以一定程度解决相关问题，但是治标不治本。 真正的本，还是在于指标量（series）过于庞大。 治本之法，应该是减少指标量。有 2 种办法
kube-prometheus监控报警
Vv的博客
04-15 3949
一、参考文档 未修改镜像地址的yaml文件：https://github.com/coreos/kube-prometheus/tree/master/manifests （使用腾讯云镜像仓库）修改镜像地址的yaml文件：https://gitee.com/mylanvv/kube-prometheus.git prometheus官方文档：https://prometheus.io/doc...
获得kubernetes集群中节点的详细信息
支棱起来
10-30 5296
//得到节点列表 List<Node> listNode=client.nodes().list().getItems(); //根据节点名称得到节点对象 Node selectedNode = client.nodes().withName(nodeName).get(); String nodeName = selectedNode.getMetadata().getName()...
Kubernetes监控体系(10)-grafana可视化展示k8s组件指标数据
会哭的雨@的博客
06-24 1919
1.kube-state-metrics简介 Kube-state-metrics:通过监听API Server生成有关资源对象的状态指标，比如Deployment、Node、Pod，需要注意的是kube-state-metrics只是简单的提供一个metrics数据，并不会存储这些指标数据，所以我们可以使用Prometheus来抓取这些数据然后存储，主要关注的是业务相关的一些元数据，比如Deployment、Pod、副本状态等；调度了多少个replicas？现在可用的有几个？；多少个Pod是runnin
promtheus对metrics修改label
triThirty的博客
07-10 1873
很多exporter的metrics的label不完整或语义不详，造成在prometheus显示的时候难以明白其metrics的具体含义。因此有必要在获取metrics的时候对metrics增加一些label，表明该metrics的具体含义。 例如： kube_pod_container_resource_requests_cpu_cores{container="autoscaler",env=...
kubectl top查看k8s pod的cpu , memory使用率情况
热门推荐
weixin_33845881的博客
12-13 3万+
To see the pods that use the most cpu and memory you can use the kubectl top command but it doesn’t sort yet and is also missing the quota limits and requests per pod. You only see the current usage: ...
优化jenkins on kubernetes构建性能慢问题
三劫散仙
09-16 1684
现在大多数公司，都开始使用kubernetes开启云原生时代了，传统的jenkins在物理机构建场景已经越来越少见了，取而代之的是用jekins在kubernetes pod中动态构建我们的任务
prometheus container_cpu_usage_seconds_total,container_spec_cpu_quota, kube_pod_labels 三个指标使用 group_left 关联的详细案例
最新发布
05-24
sum by (pod, app) (container_cpu_usage_seconds_total) / on (pod) group_left app kube_pod_labels(container_cpu_usage_seconds_total{container_name!="POD", namespace="default"}) * on (pod) group_left app...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

六六哒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值