k8s已经删除pod，但是node节点的容器还存在的排错记录（集群使用NAS存储）

最新推荐文章于 2024-03-20 15:32:30 发布
最新推荐文章于 2024-03-20 15:32:30 发布
阅读量1.1k 收藏
点赞数
分类专栏： kubernetes docker 文章标签： docker kubernetes 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingrootZ/article/details/125916997
版权
在Kubernetes环境下，发现tdh03节点缺少hdfs-datanode服务，但Docker容器仍显示运行。进一步排查发现，NFS挂载出现卡顿，容器进程处于D状态，且机器日志显示NAS曾断开。分析认为，Pod未重建可能是由于残留的容器清理不彻底，而NAS问题需要服务器重启来解决。
摘要由CSDN通过智能技术生成

现象

使用k8s查询节点的pod情况，显示tdh03没有hdfs-datanode服务
在这里插入图片描述
进入tdh03节点 使用docker ps 查询hdfs-datanode 容器还在running，没有被删除
在这里插入图片描述

排错

查看对应docker进程，nfs卡住了。容器的进程 已经是D状态了。
在这里插入图片描述
查看机器日志：dmesg -T查看NAS挂载有断开过
在这里插入图片描述

问题分析

删除了Pod 没有重建，应该就和残留的container 清理不掉有关，NAS之前有断开的情况，挂载问题是客户的没办法直接解决，需要重启服务器解决问题。

clear_soul
关注
专栏目录
K8S容器云平台排错一览图
01-04
K8S容器云平台排错一览图
k8s资源删除顺序
welcome to my world
08-10 452
kubectl delete svc kubectl delete deploy kubectl delete pod
k8s为什么删除了pod但是还是没删除掉的问题，deployment在影响
吃素的哈士奇de博客
03-20 931
我找的时候，还是有dashboard-metrics-scraper-546d6779cb-4x6xf这个pod。但是我想删掉，却告诉我这个pod不存在。执行：kubectl get pods --all-namespaces，获取dashboard相关的pod。
解决K8S删除pod后又新建pod
weixin_45387943的博客
02-25 5361
删除指定Pod [root@master ~]# kubectl delete pod nginx -n dev pod "nginx" deleted 此时，显示删除Pod成功，但是再查询，发现又新产生了一个 [root@master ~]# kubectl get pods -n dev NAME READY STATUS RESTARTS AGE nginx 1/1 Running 0 21s 这是因为当前Pod是由Pod控制器创建的，控制器会
k8s删除节点后，重启kubelet节点为啥会自动加入集群
任我行的博客
03-16 691
kubelet在创建了 Node或者节点上的kubelet执行了自注册操作之后，控制面会检查新的 Node 对象是否合法。Kubernetes 会在内部创建一个 Node 对象作为节点的表示。Kubernetes 检查kubelet向 API 服务器注册节点时使用的字段是否匹配。如果节点是健康的（即所有必要的服务都在运行中），则该节点可以用来运行 Pod。否则，直到该节点变为健康之前，所有的集群活动都会忽略该节点。Kubernetes 会一直保存着非法节点对应的对象，并持续检查该节点是否已经变得健康。
Kubernetes控制平面组件：Kubelet
一点一滴铺就人生
09-04 1424
Kubernetes的node节点大管家
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
01-07
部署教程：https://qhh.me/2019/09/05/Kubernetes-基于-EFK-技术栈的日志收集实践/ yaml地址：...部署教程里面的两个注意 Elasticsearch 数据持久化：默认 EmptyDir 的方
K8s排错思路图.pdf
最新发布
08-15
《K8s排错思路图.pdf》提供了一套系统的方法来排查和解决Kubernetes（K8s）集群中出现的网络问题。文档涵盖了Pod网络异常的分类、常用的网络排查工具、具体的排查思路和流程模型，以及CNI（容器网络接口）异常排查的...
kubernetes (k8s) 集群二进制手工安装
06-19
虽说我们可以使用比如Kubeadm工具可以简化k8s集群的部署，但这却对我们k8s的各个组件如何协同工作，及排错造成困扰。本套课程主要是以二进制的方式来一步步的安装k8s的集群，来加深我们对K8s集群进一步的理解。同时...
Kubernetes(k8s)应用管理利器Helm（2020）
06-19
随之更深层次的讲解了chart模板相关的知识，比如控制语句，命名的模板、通过Files函数对文件的访问、及模板的定义相关排错。随后说明了在生产中常用的钩子、测试、及从Helm2到Helm3的不同之处及平滑升级、构建本地的...
Kubernetes故障排查指南-分析容器退出状态码
热门推荐
qq_24794401的博客
06-23 1万+
问题大家在使用 Kubernetes 时，会遇到创建Pod失败，这时会分析什么原因导致创建Pod失败？Pod status 状态解释 [1]CrashLoopBackOff：容器退出，k...
Kubernetes—k8s中Service实例出现污点
qq_50685659的博客
09-24 768
Service可以看做是一组同类的Pod对外的访问接口，借助Service，应用可以方便的实现服务发现和负载均衡。 Service在很多情况下只是一个概念，真正起作用的其实是kube-proxy服务进 程，每个Node节点上都运行了一个kube-proxy的服务进程。当创建Service的时候会通过API Server向etcd写入创建的Service的信息，而kube-proxy会基于监听的机制发现这种Service的变化，然后它会将最新的Service信息转换为对应的访问规则。
k8s常见问题大收集
专注基础架构领域
08-21 2340
1、问题描述： 在搭建好的k8s集群内创建的容器，只能在其所在的节点上curl可访问，但是在其他任何主机上无法访问容器占用的端口 1.1、解决方案 vim /etc/sysctl.conf 找到这一行，放开注释 # Uncomment the next line to enable packet forwarding for IPv4 net.ipv4.ip_forward=1 重启主机（必须要重启才能生效） 第2章 创建私有仓库问题 2.1、问题描述，提示需要https协议问题解决 .
【k8s】 Pod状态和生命周期管理(Pause容器、Pod的创建过程、探针、livenessProbe、readinessProbe)
m0_45406092的博客
07-22 2756
文章目录1. 什么是Pod？2. Pod中如何管理多个容器？3. 使用Pod4. Pod的持久性和终止5. Pause容器6. init容器7. Pod的生命周期7.1 Pod phase（Pod的相位）7.2 Pod的创建过程7.3 Pod的状态7.4 Pod存活性探测7.6 Pod的重启策略7.7 Pod的生命7.8 livenessProbe解析7.9 资源需求和资源限制参考 1. 什么是Pod？ Pod是kubernetes中你可以创建和部署的最小也是最简的单位。一个Pod代表着集群中运行的一个进
【k8s】k8s容器状态Terminating无法删除
m0_45406092的博客
02-28 971
若Pod的状态为Terminating，说明此Pod正处于关闭状态。Pod停留在Terminating状态一段时间后会被自动删除。若Pod一直停留在Terminating状态，则：1、判断是否为k8s和docker容器状态不一致问题造成；2、判断 Pod 上是否有 finalizers ，如果有需要确认是否是有防止删除的保护；3、判断节点是否出现 NotReady，节点如果处于NotReady，此节点上出现 Pod 状态 Terminating 是预期中的行为。
k8s pod删不掉
zenglingmin8的博客
05-28 1662
问题现象：pod一直删除不掉问题 起因：在pod运行过程中，修改了其deployment，导致pod一直删不掉 操作过程： 删除pod，删不掉 强制删除pod，依然删除不了 删除deployment，旧的pod依然删不掉，因为deployment已经发生变更 查看pod的详情，发现如下内容 kubectl get pods -n architect wx-xxx-luna-5b5755b69-zwrhb -oyaml apiVersion: v1 kind: Pod metadata: annota
k8s中删除pod后仍然存在问题
weixin_30916125的博客
03-08 1819
分析： 是因为删除了pod，但是没有删除对应的deployment，删除对应的deployment即可 实例如下： 删除pod [root@test2 ~]# kubectl get pod -n jenkins NAME READY STATUS RESTARTS AGE jenkins2-...
K8s Pod优雅关闭，没你想象的那么简单！
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
09-27 2183
更新部署服务时，旧的 Pod 会终止，新 Pod 上位。如果在这个部署过程中老 Pod 有一个很长的操作，我们想在这个操作成功完成后杀死这个 pod（优雅关闭），如果无法做到的话，被杀死的...
k8s环境，服务器重启后，所有节点状态为noready，pod状态为running，但是docker容器一个都没起来
simpleness_的博客
06-11 812
k8s环境，服务器重启后，所有节点状态为noready，pod状态为running，但是docker容器一个都没起来
Linux下三节点Hadoop分布式集群部署教程
1. **硬件环境**：使用3台虚拟机，分别设置为master、node1和node2，IP地址分别为192.168.10.26、192.168.10.45和192.168.10.11。 2. **主机名和SSH配置**：在每台机器上，修改hostname，如将master设置为192.168....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值