k8s大量pod状态ContainerStatusUnknown

于 2024-01-04 19:54:53 发布
阅读量827 收藏 8
点赞数 6
分类专栏： k8s 文章标签： kubernetes 容器 云原生 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45348606/article/details/135394308
版权

大量pod状态为ContainerStatusUnknown

事发背景

域名访问gitlab请求超时，查看ingress-controller命名空间发现出现大量异常pod，并且pod和deploy事件都为空。
在这里插入图片描述
进一步查看发现异常pod集中于某节点，于是断定是节点的问题
在这里插入图片描述
查看节点事件信息，报错信息尝试回收image失败
在这里插入图片描述
查看盘使用率超过85%，kubelet检测到磁盘使用率达到阀值，就会自动清理过期的image，释放空间，但是所有的image都在使用，所以kubelet会拒绝容器创建。
在这里插入图片描述

解决方案：

首先进行硬盘垃圾清理工作，删除不必要的文件，使业务恢复正常，后续可以增加硬盘

杰哥爱运维
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
K8S集群中Pod资源处于Terminating或Unknown状态排查思路
江晓龙的博客
06-30 4943
Error状态是CrashLoopBackOff状态之前的一个错误状态，Pod资源处于Error状态的原因可能有以下几种：1）排查Pod的状态 2）查看Pod运行的详细日志从中获取线索 3）排查容器运行的日志获取关键信息 4）排查Kubelet日志以及Node节点系统日志从中获取关键信息...
Kubectl、Pod Phase和Container Status映射关系
Qinng的博客
05-11 2449
注：以下状态为kubernetes-1.10的映射关系，较新版本有部分改动 Pod Phase Kubectl Status Container Status 备注 Pending Pending None Pod没有到达Kubelet之前 Pending ImagePullBackOff Pod没有到达Kubelet之后，Image拉取镜像成功之前 CreateContainerConfigError ...
k8s 大量 pod 处于 ContainerStatusUnknown 状态
weixin_42555971的博客
07-12 2564
如图所示，nexus 正常运行，但产生了大量的状态不明的 pod，原因也无从所知。解决办法，删除多余的 pod，一个一个删除，非常费劲。
kubernetes无法删除状态为Unknown的pod资源
ML908的博客
05-11 2128
问题 执行删除kubectl delete删除资源后发现有pod资源未被删除，STATUS为Unknown 原因 node节点的kubelet.service服务挂掉了 解决 ① 使用kubectl get pods -o wide查看pod资源所在的node节点 ② node节点检查服务状态：systemctl status kubelet.service ③ 开启服务：systemctl start kubelet.service 这时再回去查看pods，就可以删除了 ...
部署k8s报错：unknown container “/system.slice/kubelet.service”
sfdst的博客
03-07 747
部署k8s报错：unknown container “/system.slice/kubelet.service” 原因：kubernetes和docker版本兼容性问题（有可能是k8s版本太高,docker版本太低的问题） 解决方法：修改kubelet配置文 因为我是用kubeadm装的，所以不是这样配置的，通过查看/etc/systemd/system/kubelet.service.d/10-kubeadm.conf 得出结论： vim /var/lib/kubelet/kubeadm-fl
5分钟搞懂K8S Pod Terminating/Unknown故障排查
残星说梦话
12-11 1787
你好，我是俞凡，在Motorola做过研发，现在在Mavenir做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。在此期间，容器接收SIGTERM信号，执行必要的清理工作，例如关闭连接，完成正在进行的任务，并在资源终止之前释放资源，默认为30秒。: 如果节点上运行的Kubelet进程出现问题或崩溃，可能会导致无法将pod状态上报给控制平面，从而造成pod进入"Unknown"状态。
k8s中pod监控看板
最新发布
12-15
k8s中pod监控看板
kmem问题造成K8S中pod内存溢出
01-20
在Kubernetes(K8S)集群中，当遇到“kmem问题造成K8S中pod内存溢出”的情况，这通常意味着内核内存(kernel memory)的使用超过了预期限制，导致了Pod无法正常运行或者性能下降。内核内存是操作系统用于内部数据结构和...
K8S监控模板，用于k8S集群Pod监控
03-08
- 6417-K8S资源状态监控.json：可能包含了对K8S资源状态的监控配置，包括Pod的运行状态、副本集的状态、服务的状态等，用于跟踪和报警异常情况。 - 9276-主机基础监控.json：可能专注于节点级别的监控，如主机的...
k8s集群pod经常重启问题排查总结.doc
10-29
k8s集群pod经常重启问题排查总结
k8s+k8s+pod介绍与网络通讯+配合博文
03-30
本文将深入探讨k8s中的Pod、控制器、网络架构以及Flannel网络解决方案，同时阐述不同层次的网络通信机制。 1、k8s的Pod介绍 Pod是k8s的基本调度单元，它代表了运行在一个或多个容器中的应用程序实例。Pod封装了一个...
Kubernetes 常见故障排查和处理
justlpf的专栏
06-09 5914
发现 failed to find plugin “loopback” in path [/opt/loopback/bin /usr/local/bin]如镜像和容器正常，需要reset重置该节点k8s，重新加入集群。以下内容，如修改yaml文件后，执行kubectl apply -f pod.yaml重启pod才生效。需要重启pod解决，kubectl replace --force -f pod.yaml。查看Node节点状态， STATUS Ready表示正常，NotReady不正常。
k8s报错
weixin_55609813的博客
04-25 5409
k8s使用中报错错误1234 错误 1 E0424 14:54:54.699599 55740 remote_runtime.go:334] "ContainerStatus from runtime service failed" err="rpc error: code = Unknown desc = Error: No such container: aa505feacb20ebfed941e9db4b777a2d323577f03d8dc0368bfe7c821be4e69b" contain
解决k8s(kubernetes)无法删除fail pod(status unknown)
Kelvin Liang Study Footprint
03-26 3637
当有节点挂了之后，导致容器无法删除；即使显示删除成功，但还是可以在dashboard里面看到fail pod的信息 经过科技上网，遍寻国内外之后，终于找到解决方法，吾不敢独享，所以各位看官请看： 首先强力删除: kubectl delete pod podname-5c8844476b-4qtx6 -n wx --grace-period=0 --force 然后更新容器的元数据： 原来...
部署k8s报错：unknown container "/system.slice/kubelet.service"
XiaoXiao__cc的博客
03-20 2118
部署k8s报错：unknown container “/system.slice/kubelet.service” *原因：kubernetes和docker版本兼容性问题（有可能是k8s版本太高,docker版本太低的问题） 解决方法：修改kubelet配置文 * 解决办法一： vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf ...
初遇 k8s Pod 处于 Unknown 状态
cab5的博客
10-30 5343
背景 今天下午突然发现，ACK 环境中运行的 Pod，有几个的状态显示为 Unknown，如下： NAME READY STATUS RESTARTS AGE annoroad-alpha-6589c4c6d7-d2vxr 1/1 Running 0 ...
k8s- unknown问题排查
lanwp5302的博客
03-13 4424
一、问题描述 kubernetes pod NodeLost 分析 环境 系统: centOS7 k8s 1 master, 2 node IP k8s master 176 k8s node 175 k8s node 176 kubelet、kube-proxy、kube-dns直接安装在linux系统上 问题 卸载监控时,一直一些组件未删除（正常是所有相关组...
K8S部署服务报UnknownHostException错误处理过程
热门推荐
一掬净土
12-27 1万+
一、背景 K8S部署java服务，服务内访问百度（声明：仅用来做测试非爬虫，实际是有个其他网址报同样的错误）报：java.net.UnknownHostException: www.baidu.com: Temporary failure in name resolution 1.1 请求测试代码如下： 1.2 报错信息如下： 二、排查思路 2.1 开始的时候，也是看网上其他的解决方案，比如： 1、修改/etc/resolv.conf 加 nameserver 8.8.8.8； 2、修改/etc/sys
Java 应用程序在 Kubernetes 上棘手的内存管理
weixin_39158966的博客
04-24 154
JVM 内存管理是一种高度复杂的机制，多年来通过连续发布不断改进，是 JVM 平台的优势之一。对于本文，我们将只介绍对本主题有用的基础知识。在较高的层次上，JVM 内存由两个空间组成 —— Heap 和 Metaspace。
k8s启动Pod状态CrashLoopBackOff
08-25
你好！对于 `CrashLoopBackOff` 状态的 Pod，这通常表示该 Pod 在启动过程中遇到了问题，并且一直处于重启循环中。这个状态意味着 Pod 启动后立即崩溃，然后 Kubernetes 尝试重新启动它，但又崩溃了，如此循环。 要解决这个问题，你可以按照以下步骤进行排查： 1. 查看 Pod 的日志：使用 `kubectl logs <pod-name>` 命令来查看 Pod 的日志，尝试找出何处发生了错误。可能会有一些错误消息或异常堆栈跟踪可供参考。 2. 检查 Pod 的配置：确保你的 Pod 配置正确无误，包括容器镜像、资源限制、环境变量等。一个常见的问题是容器启动所需的依赖项未正确配置或缺失。 3. 检查相关的服务和资源：如果你的应用程序依赖于其他服务或资源（例如数据库），请确保这些服务和资源都正常可用。如果依赖的服务不可用，可能会导致容器启动失败并进入 `CrashLoopBackOff` 状态。 4. 检查 Pod 的健康检查设置：你的应用程序可能配置了健康检查，例如使用 Kubernetes 的 liveness 或 readiness 探针。确保这些探针正确配置，以便检测到应用程序是否健康。如果探针失败，则 Pod 可能会被 Kubernetes 认为是不可用的，从而导致重启循环。 5. 更新容器镜像：如果你的应用程序使用的容器镜像存在已知的 bug 或问题，尝试更新镜像到最新版本或使用一个稳定版本。 通过排查以上问题，你应该能够找到导致 `CrashLoopBackOff` 状态的原因，并采取相应的措施解决问题。希望对你有所帮助！如果你还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值