k8s集群中namespace状态一直显示Terminating

最新推荐文章于 2024-08-05 22:25:59 发布
最新推荐文章于 2024-08-05 22:25:59 发布
阅读量527 收藏 1
点赞数
分类专栏： k8s 文章标签： k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40579389/article/details/134186164
版权

一、问题现象

今天在做测试时，在一个namespace下无法启动pod，查看ns状态一直显示Terminating

[root@node1 ~]# kubectl get ns
NAME                   STATUS        AGE
configmap              Terminating   135d
default                Active        207d
harbor                 Active        207d
kube-flannel           Terminating   17m
kube-node-lease        Active        207d
kube-public            Active        207d
kube-system            Active        207d
kubekey-system         Active        207d
kubernetes-dashboard   Active        207d
local-path-storage     Active        187d
nginx                  Active        146d
test                   Terminating   126d

使用–force 删除也是一直卡着的状态

[root@node1 ~]# kubectl delete ns test --force 
Warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.
namespace "test" force deleted

二、查看ns下的资源

根据以上现象，怀疑是该ns下有未释放的资源，使用如下命令查看

1: 查看所有资源
[root@node1 ~]# kubectl get all -n  test
No resources found in test namespace.
[root@node1 ~]# 
以上得知该ns下没有任何未释放的资源

##################
我看网上有使用kubectl api-resources -o name --verbs=list --namespaced | xargs -n 1 kubectl get --show-kind --ignore-not-found -n test这个命令查看的，也是返回结果为空

三、问题处理

以json格式导出ns的详细信息

[root@node1 ~]# kubectl get  ns test -o json  > test.json

编辑test.json文件，确保spec中内容为空，如下：

    "spec": {
        "finalizers": [    #########
            "kubernetes"   ######### 删除这三行内容，告知k8s要删除的ns中内容为空
        ]                  #########
    },

将空ns通过调用k8s的api接口覆盖掉原来的ns

[root@node1 ~]# curl -k \
> -H "Content-Type: application/json" \
> -X PUT \
> --data-binary @test.json \
> http://127.0.0.1:8081/api/v1/namespaces/test/finalize
curl: (7) Failed connect to 127.0.0.1:8081; Connection refused

因为k8s主节点使用了认证，如果直接使用命令会拒绝连接,需要使用kube-proxy进行代理8081端口

使用kube-proxy开启端口

[root@node1 ~]# kubectl proxy --port=8081 
Starting to serve on 127.0.0.1:8081

打开新的终端，再次执行上述命令，返回如下内容

[root@node1 ~]# curl -k -H "Content-Type: application/json" -X PUT --data-binary @test.json http://127.0.0.1:8081/api/v1/namespaces/test/finalize
{
  "kind": "Namespace",
  "apiVersion": "v1",
  "metadata": {
    "name": "test",
    "uid": "f2676c45-a75b-49be-9e01-84958bedc4a0",
    "resourceVersion": "33942216",
    "creationTimestamp": "2023-06-28T06:02:07Z",
    "deletionTimestamp": "2023-06-28T06:02:24Z",
    "labels": {
      "kubernetes.io/metadata.name": "test"
    },
    "annotations": {
      "kubectl.kubernetes.io/last-applied-configuration": "{\"apiVersion\":\"v1\",\"kind\":\"Namespace\",\"metadata\":{\"annotations\":{},\"creationTimestamp\":\"2023-06-28T06:02:07Z\",\"deletionTimestamp\":\"2023-06-28T06:02:24Z\",\"labels\":{\"kubernetes.io/metadata.name\":\"test\"},\"name\":\"test\",\"resourceVersion\":\"28081915\",\"uid\":\"f2676c45-a75b-49be-9e01-84958bedc4a0\"},\"spec\":{},\"status\":{\"conditions\":[{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"Discovery failed for some groups, 1 failing: unable to retrieve the complete list of server APIs: metrics.k8s.io/v1beta1: an error on the server (\\\"Internal Server Error: \\\\\\\"/apis/metrics.k8s.io/v1beta1\\\\\\\": the server could not find the requested resource\\\") has prevented the request from succeeding\",\"reason\":\"DiscoveryFailed\",\"status\":\"True\",\"type\":\"NamespaceDeletionDiscoveryFailure\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All legacy kube types successfully parsed\",\"reason\":\"ParsedGroupVersions\",\"status\":\"False\",\"type\":\"NamespaceDeletionGroupVersionParsingFailure\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All content successfully deleted, may be waiting on finalization\",\"reason\":\"ContentDeleted\",\"status\":\"False\",\"type\":\"NamespaceDeletionContentFailure\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All content successfully removed\",\"reason\":\"ContentRemoved\",\"status\":\"False\",\"type\":\"NamespaceContentRemaining\"},{\"lastTransitionTime\":\"2023-06-28T06:02:29Z\",\"message\":\"All content-preserving finalizers finished\",\"reason\":\"ContentHasNoFinalizers\",\"status\":\"False\",\"type\":\"NamespaceFinalizersRemaining\"}],\"phase\":\"Terminating\"}}\n"
    },
    "managedFields": [
      {
        "manager": "kubectl-create",
        "operation": "Update",
        "apiVersion": "v1",
        "time": "2023-06-28T06:02:07Z",
        "fieldsType": "FieldsV1",
        "fieldsV1": {
          "f:metadata": {
            "f:labels": {
              ".": {},
              "f:kubernetes.io/metadata.name": {}
            }
          }
        }
      },
      {
        "manager": "kube-controller-manager",
        "operation": "Update",
        "apiVersion": "v1",
        "time": "2023-09-27T07:02:23Z",
        "fieldsType": "FieldsV1",
        "fieldsV1": {
          "f:status": {
            "f:conditions": {
              ".": {},
              "k:{\"type\":\"NamespaceContentRemaining\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceDeletionContentFailure\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceDeletionDiscoveryFailure\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceDeletionGroupVersionParsingFailure\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              },
              "k:{\"type\":\"NamespaceFinalizersRemaining\"}": {
                ".": {},
                "f:lastTransitionTime": {},
                "f:message": {},
                "f:reason": {},
                "f:status": {},
                "f:type": {}
              }
            }
          }
        },
        "subresource": "status"
      },
      {
        "manager": "kubectl-client-side-apply",
        "operation": "Update",
        "apiVersion": "v1",
        "time": "2023-11-02T02:46:01Z",
        "fieldsType": "FieldsV1",
        "fieldsV1": {
          "f:metadata": {
            "f:annotations": {
              ".": {},
              "f:kubectl.kubernetes.io/last-applied-configuration": {}
            }
          }
        }
      }
    ]
  },
  "spec": {},
  "status": {
    "phase": "Terminating",
    "conditions": [
      {
        "type": "NamespaceDeletionDiscoveryFailure",
        "status": "True",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "DiscoveryFailed",
        "message": "Discovery failed for some groups, 1 failing: unable to retrieve the complete list of server APIs: metrics.k8s.io/v1beta1: an error on the server (\"Internal Server Error: \\\"/apis/metrics.k8s.io/v1beta1\\\": the server could not find the requested resource\") has prevented the request from succeeding"
      },
      {
        "type": "NamespaceDeletionGroupVersionParsingFailure",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ParsedGroupVersions",
        "message": "All legacy kube types successfully parsed"
      },
      {
        "type": "NamespaceDeletionContentFailure",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ContentDeleted",
        "message": "All content successfully deleted, may be waiting on finalization"
      },
      {
        "type": "NamespaceContentRemaining",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ContentRemoved",
        "message": "All content successfully removed"
      },
      {
        "type": "NamespaceFinalizersRemaining",
        "status": "False",
        "lastTransitionTime": "2023-06-28T06:02:29Z",
        "reason": "ContentHasNoFinalizers",
        "message": "All content-preserving finalizers finished"
      }
    ]
  }
}

查看ns是否被删除

[root@node1 ~]#kubectl get ns    ####名为test的ns已经被删除 
NAME                   STATUS        AGE
configmap              Terminating   135d
default                Active        207d
harbor                 Active        207d
kube-flannel           Terminating   21m
kube-node-lease        Active        207d
kube-public            Active        207d
kube-system            Active        207d
kubekey-system         Active        207d
kubernetes-dashboard   Active        207d
local-path-storage     Active        187d
nginx                  Active        146d

其他Terminating状态的ns也可以使用上述方法删除
#######################
注意，ns的名字不要用和资源类型一样，要不然会把ns名称识别成资源类型报错。上面名为configmap的ns就是这个问题，导致删除报错无法清理，只能调用etcd进行删除。
魏志标
关注
专栏目录
强制删除k8s中的命名空间为 Terminating 的ns
叱咤少帅的博客
08-01 1799
k8s delete ns
k8s Namespace处于Terminating解决方案
Kason_iWiki
07-09 302
线上故障描述： 参考链接：https://support.huaweicloud.com/cce_faq/cce_faq_00277.html [root@global01 ~]# kubectl get pods -A |grep -v "Running" NAMESPACE NAME READY STATUS RESTARTS AGE ns-1
k8s 的命名空间一直 Terminating
weixin_42555971的博客
07-12 678
查看命名空间状态，[NAMESPACE] 处于 Terminating。解决办法：删除部署文件 yaml 中的 finalizers 属性。使用强制删除命令没有效果。
k8s中namespace处于Terminating状态
qq_43164571的博客
06-16 2714
每当删除 namespace 或 pod 等一些 Kubernetes 资源时，有时资源状态会卡在 Terminating，很长时间无法删除，甚至有时增加 --force grace-period=0 之后还是无法正常删除。这时就需要 edit 该资源，或者将该资源导出为 json（通过调用原生接口进行删除）, 将 finalizers 字段设置为 []，之后 Kubernetes 资源就正常删除了。 查看ns装填 # kubectl get ns NAME STATUS .
解决k8s中删除命名空间时一直显示Terminating而无法删除成功的问题
最新发布
m0_55658918的博客
08-05 334
查看命名空间状态为Terminating，且持续了许久。在启动dashboard的时候报错，再次创建无法创建。1、先将namespace的配置文件输出保存。4、在另一个中断中，使用http接口进行删除。2、编辑json文件，删除字段。最后成功删除命名空间，结果如下。强制删除也没有立马生效。
k8s namespace一直处于Terminating状态
qq_15138049的博客
11-25 235
将namespace 和 service 配置信息写到一个yaml里去了，执行 kubectl delete -f xxx.yaml 导致如下：namespace 一直处于Terminating 状态，pod 什么的也都是Terminating状态… [root@hadoop03 elk-01]# kubectl get ns NAME STATUS AGE default Active 20h elk T
记录一次k8s APIService 包含的接口异常导致删除Pod一直处于terminating状态
pop_xiaohao的专栏
10-12 4508
问题现象： k8s 执行 delete操作发现pod一直处于terminating 问题排查 执行：kubectl get APIService 发现： v1beta1.events.k8s.io Local True 13d v1beta1.extensions Local True 13d v1beta1.metrics.k8s.io
Kubeadm 部署 k8s 集群
lpyun@aliyun.com
05-05 457
kubernetes，简称 K8s，是用 8 代替名字中间的 8 个字符 “ubernete” 而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单并且高效（powerful），Kubernetes 提供了应用部署，规划，更新，维护的一种机制。目前生产部署 Kubernetes 集群主要有两种方式1、kubeadm。
K8S集群pvc状态为Terminating恢复
zzc__zzc的博客
06-14 792
②Recycle：删除卷的内容并使卷可用于再次声明。通过这种方式，持久卷可以被不同的持久卷声明和pod反复使用。但是删除pv以后，挂载卷的数据会被删除掉。①Retain：PV的默认回收策略，删除pvc后，挂载卷的数据会保留。3、停止相关pod，当pod停止后，相关pvc会删除。5、重新创建pvc，并查看状态，启动pod，查看状态。2、调节pv的回收策略为Retain。删除成功后，pvc一会也会随着删除。4、修改pv，删除以前的绑定信息。删除spen下的claimRef。删除完成后，保存退出。
【Kubernetes】关于K8s集群证书过期问题的处理过程记录
cnskylee的博客
09-28 2990
一个相对完整的思路，处理k8s集群证书过期问题。
k8s集群搭建
MyNine_的博客
05-02 808
k8s集群搭建 虚拟机环境准备 vagrant初始化三台sentos/7环境(需要先安装vagrant) Vagrantfile文件: Vagrant.configure("2") do |config| (1..3).each do |i| config.vm.define "k8s-node#{i}" do |node| # 设置虚拟机的Box node.vm.box = "centos/7" # 设置虚
TS：k8s删除命名空间一直显示Terminating问题处理(已解决)-2022.3.17
weixin_39246554的博客
03-17 6463
1、问题现象 假设我们的现在要删除的namespace是dev，执行如下命令进行删除： 执行如下命令查看namespace删除情况： 可以看到删除状态显示Terminating，而且会一直持续这个状态。 并且用：kubectl delete ns dev --force --grace-period=0强制删除也是不行。。。； 2、解决办法 针对这个情况我们可以这样解决： 1.现将要删除的namespace的描述信息导出到文件，如下图 kubectl get namespace dev -o json.
k8s删除命名空间卡住，一直Terminating的排查解决思路
weixin_47575974的博客
05-10 1611
K8s删除命名空间时，可能会遇到卡住导致状态一直为Terminating，本文提供一些排查解决思路。
k8s删除namespace失败一直处于Terminating状态
一点浩然气
04-07 485
【代码】k8s删除namespace失败一直处于Terminating状态。
k8s delete namespace Terminating
Vv的博客
06-21 3845
k8s delete namespace Terminating
k8s集群namespace一直处于Terminating状态不释放解决办法
我是小bā吖的博客
04-13 2284
Kubernetes中namespace有两种常见的状态，即Active和Terminating状态，其中Terminating状态一般会比较少见，当对应的命名空间下还存在运行的资源，但该命名空间被删除时才会出现所谓的Terminating状态，这种情况下只要等待Kubernetes本身将命名空间下的资源回收后，该命名空间将会被系统自动删除。想要删除kuboard这个命名空间，但是命名空间却一直处于Terminating状态不释放。但大部分时候，这些资源也杀不掉，最好的解决办法是使用原生接口删除。
k8s删除namespace失败,状态Terminating解决方案,cattle-system一直为Terminating状态解决方案
码农崛起
12-08 2274
解决方案,删除其中的spec字段，因为k8s集群是携带认证的： kubectl proxy--port=8081 & 1，导出信息 kubectl get namespace wubo -o json > tmp.json 2，删除spec 3 执行 curl -k -H "Content-Type: application/json" -X PUT --data-binary @tmp.json http://127.0.0.1:8081/api/v1/namespa.
k8s的namespace资源一直terminating问题解决
lyf0327的博客
04-19 2682
问题：删除ns时一直显示terminating的状态 解决： 方法一： 通过强制删除，并且设置优雅删除时间为0（默认为30s） kubectl delete ns cattle-system --force --grace-period=0 实践后发现并不好使 方法二： 通过k8s提供的api接口，把.metadata.finalizers字段及其内容删除，从而k8s会直接将该ns删除 $ kubectl get ns cattle-system -o json > cattle-s
k8s namespace中terminating是
06-13
"terminating"是Kubernetes Namespace的一种状态，表示该Namespace正在被删除。当删除一个Namespace时，Kubernetes会将Namespace的状态设置为"terminating"，并且开始删除该Namespace中的所有资源对象。一旦所有资源对象都被删除，Kubernetes会将Namespace的状态设置为"Terminated"。在Namespace处于"terminating"状态时，该Namespace中的所有资源对象都不能被修改或删除。只有在Namespace的状态切换为"Terminated"后，才能再次创建同名的Namespace。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值