k8s大量pod状态ContainerStatusUnknown

于 2024-01-04 19:54:53 发布
阅读量1.6k 收藏 8
点赞数 6
分类专栏： k8s 文章标签： kubernetes 容器 云原生 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45348606/article/details/135394308
版权

大量pod状态为ContainerStatusUnknown

事发背景

域名访问gitlab请求超时，查看ingress-controller命名空间发现出现大量异常pod，并且pod和deploy事件都为空。
在这里插入图片描述
进一步查看发现异常pod集中于某节点，于是断定是节点的问题
在这里插入图片描述
查看节点事件信息，报错信息尝试回收image失败
在这里插入图片描述
查看盘使用率超过85%，kubelet检测到磁盘使用率达到阀值，就会自动清理过期的image，释放空间，但是所有的image都在使用，所以kubelet会拒绝容器创建。
在这里插入图片描述

解决方案：

首先进行硬盘垃圾清理工作，删除不必要的文件，使业务恢复正常，后续可以增加硬盘

【K8S系列】Kubernetes Pod 状态详细介绍及异常状态解决方案
颜淡慕潇
10-21 1万+
在 Kubernetes 中，Pod 是最小的可调度单元，负责运行一个或多个容器。Pod 的状态能够反映其生命周期中的不同阶段，帮助用户了解当前的运行状况。本文将详细介绍 Kubernetes Pod 的各种状态及其可能的异常状态解决方案。
K8S集群中Pod资源处于Terminating或Unknown状态排查思路
江晓龙的博客
06-30 5264
Error状态是CrashLoopBackOff状态之前的一个错误状态，Pod资源处于Error状态的原因可能有以下几种：1）排查Pod的状态 2）查看Pod运行的详细日志从中获取线索 3）排查容器运行的日志获取关键信息 4）排查Kubelet日志以及Node节点系统日志从中获取关键信息...
k8s 大量 pod 处于 ContainerStatusUnknown 状态
weixin_42555971的博客
07-12 3539
如图所示，nexus 正常运行，但产生了大量的状态不明的 pod，原因也无从所知。解决办法，删除多余的 pod，一个一个删除，非常费劲。
部署k8s报错：unknown container “/system.slice/kubelet.service”
sfdst的博客
03-07 855
部署k8s报错：unknown container “/system.slice/kubelet.service” 原因：kubernetes和docker版本兼容性问题（有可能是k8s版本太高,docker版本太低的问题） 解决方法：修改kubelet配置文 因为我是用kubeadm装的，所以不是这样配置的，通过查看/etc/systemd/system/kubelet.service.d/10-kubeadm.conf 得出结论： vim /var/lib/kubelet/kubeadm-fl
部署k8s报错：unknown container "/system.slice/kubelet.service"
XiaoXiao__cc的博客
03-20 2395
部署k8s报错：unknown container “/system.slice/kubelet.service” *原因：kubernetes和docker版本兼容性问题（有可能是k8s版本太高,docker版本太低的问题） 解决方法：修改kubelet配置文 * 解决办法一： vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf ...
初遇 k8s Pod 处于 Unknown 状态
cab5的博客
10-30 5853
背景 今天下午突然发现，ACK 环境中运行的 Pod，有几个的状态显示为 Unknown，如下： NAME READY STATUS RESTARTS AGE annoroad-alpha-6589c4c6d7-d2vxr 1/1 Running 0 ...
kubernetes无法删除状态为Unknown的pod资源
ML908的博客
05-11 2248
问题 执行删除kubectl delete删除资源后发现有pod资源未被删除，STATUS为Unknown 原因 node节点的kubelet.service服务挂掉了 解决 ① 使用kubectl get pods -o wide查看pod资源所在的node节点 ② node节点检查服务状态：systemctl status kubelet.service ③ 开启服务：systemctl start kubelet.service 这时再回去查看pods，就可以删除了 ...
解决k8s(kubernetes)无法删除fail pod(status unknown)
Kelvin Liang Study Footprint
03-26 3730
当有节点挂了之后，导致容器无法删除；即使显示删除成功，但还是可以在dashboard里面看到fail pod的信息 经过科技上网，遍寻国内外之后，终于找到解决方法，吾不敢独享，所以各位看官请看： 首先强力删除: kubectl delete pod podname-5c8844476b-4qtx6 -n wx --grace-period=0 --force 然后更新容器的元数据： 原来...
5分钟搞懂K8S Pod Terminating/Unknown故障排查
最新发布
残星说梦话
12-11 2188
你好，我是俞凡，在Motorola做过研发，现在在Mavenir做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。在此期间，容器接收SIGTERM信号，执行必要的清理工作，例如关闭连接，完成正在进行的任务，并在资源终止之前释放资源，默认为30秒。: 如果节点上运行的Kubelet进程出现问题或崩溃，可能会导致无法将pod状态上报给控制平面，从而造成pod进入"Unknown"状态。
k8s- unknown问题排查
lanwp5302的博客
03-13 4552
一、问题描述 kubernetes pod NodeLost 分析 环境 系统: centOS7 k8s 1 master, 2 node IP k8s master 176 k8s node 175 k8s node 176 kubelet、kube-proxy、kube-dns直接安装在linux系统上 问题 卸载监控时,一直一些组件未删除（正常是所有相关组...
Kubectl、Pod Phase和Container Status映射关系
Qinng的博客
05-11 2647
注：以下状态为kubernetes-1.10的映射关系，较新版本有部分改动 Pod Phase Kubectl Status Container Status 备注 Pending Pending None Pod没有到达Kubelet之前 Pending ImagePullBackOff Pod没有到达Kubelet之后，Image拉取镜像成功之前 CreateContainerConfigError ...
Kubernetes 常见故障排查和处理
justlpf的专栏
06-09 6980
发现 failed to find plugin “loopback” in path [/opt/loopback/bin /usr/local/bin]如镜像和容器正常，需要reset重置该节点k8s，重新加入集群。以下内容，如修改yaml文件后，执行kubectl apply -f pod.yaml重启pod才生效。需要重启pod解决，kubectl replace --force -f pod.yaml。查看Node节点状态， STATUS Ready表示正常，NotReady不正常。
java.lang.Exception: Unknown container. Container either has not started or
weixin_45417821的博客
03-24 2296
在hadoop平台运行任务出错，想查看日志，但是点击logs显示一段提示信息 查阅资料后得知，是未开启historyserver服务，其默认关闭，是一个独立的服务，网页查看端口号默认：19888，可在yarn-site.xml中配置，配置完后将配置文件复制到其他节点上，同时注意，我指定的是newmaster地址，所以需要在newmaster机器上启动（你也可以指定其他地址，启动时必须是在指定的地址节点上） mapred-site.xml <property> <name&
kubesphere 问题解决
怨行客
05-12 7803
镜像下载不下来，到对应节点 docker pull 重启节点后，无监控数据，因为你没有正确退出节点，这样退链接 其实就是停止调度，重启kubectl,docker
Docker 容器常见故障排查及处理
热门推荐
Ice-winters
08-11 2万+
Docker 容器常见故障排查及处理 本文来源于公司论坛发表的帖子 Docker是一种相对使用较简单的容器，我们可以通过以下几种方式获取信息： 1、通过docker run执行命令，或许返回信息 2、通过docker logs 去获取日志，做有针对性的筛选 3、通过systemctl status docker查看docker服务状态 4、通过journalctl -u docker.service 查看日志 以下是整理的docker容器类问题故障，分为9个类 一、启动类故障 1、docker:
Pod初始化容器之Init Container
qq_29860591的博客
12-18 759
Init 容器的介绍 Pod能够具有多个容器，应用运行在容器里面，但是它也可能有一个或多个先于应用容器启动的 Init容器Init 容器与普通的容器非常像，除了如下两点： c Init 容器总是运行到成功完成为止 2） 每个 Init 容器都必须在下一个 Init 容器启动之前成功完成如果 Pod 的 Init 容器失败， Kubernetes 会不断地重启该 Pod ，直到 Ini...
Init Container(初始化容器)
zhangshaohuas的博客
07-18 2824
在很多应用场景中，应用在启动之前都需要进行如下初始化操作: 等待其他关联组件正确运行（例如数据库或某个后台服务） 基于环境变量或配置模板生成配置文件。 从远程数据库获取本地所需配置，或者将自身注册到某个中央数据库中。 下载相关依赖包，或者对系统进行一些预配置操作。 Kubernetes 1.3引入了一个Alpha版本的新特性init container（初始化容器），用于在启动应用容器（app container）之前启动一个或多个初始化容器，完成应用容器所需的预置条件，如图所示。 init cont
k8s错误之unknown container “/system.slice/docker.service“（四）
qq_35151346的博客
10-09 1559
vim /etc/sysconfig/kubelet KUBELET_EXTRA_ARGS="--fail-swap-on=false" 追加为:KUBELET_EXTRA_ARGS="--fail-swap-on=false --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice"
pod排错---- Pod 一直处于 ContainerCreating 或 Waiting 状态
任我行的博客
03-24 5614
Pod 配置错误 检查是否打包了正确的镜像 检查配置了正确的容器参数 挂载 Volume 失败 Pod 漂移没有正常解挂之前的磁盘 命中 K8S 挂载 configmap/secret 的 subpath 的 bug 最近发现如果 Pod 挂载了 configmap 或 secret， 如果后面修改了 configmap 或 secret 的内容，Pod 里的容器又原地重启了(比如存活检查失...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值