Kubernetes Pod 排错指南

富士康质检员张全蛋

已于 2022-07-02 08:40:31 修改

阅读量2k

点赞数 1

分类专栏： Kubernetes Pod 文章标签： kubernetes

于 2022-06-28 14:12:39 首次发布

本文链接：https://blog.csdn.net/qq_34556414/article/details/125325308

版权

Kubernetes Pod 专栏收录该内容

30 篇文章 15 订阅

订阅专栏

Pod排错

Pod 各种异常现象，可能的原因以及解决方法。

排查过程常用的命名如下 :

查看 Pod 状态: kubectl get pod <pod-name> -o wide
查看 Pod 的 yaml 配置: kubectl get pod <pod-name> -o yaml
查看 Pod 事件: kubectl describe pod <pod-name>
查看容器日志: kubectl logs <pod-name> [-c <container-name>]

Pod 有多种状态，这里罗列一下 :

Error : Pod 启动过程中发生错误

NodeLost : Pod 所在节点失联

Unkown : Pod 所在节点失联或其它未知异常

Waiting : Pod 等待启动

Pending : Pod 等待被调度

ContainerCreating : Pod 容器正在被创建

Terminating : Pod 正在被销毁

CrashLoopBackOff ：容器退出， kubelet 正在将它重启

InvalidImageName ：无法解析镜像名称

ImageInspectError ：无法校验镜像

ErrImageNeverPull ：策略禁止拉取镜像

ImagePullBackOff ：正在重试拉取

RegistryUnavailable ：连接不到镜像中心

ErrImagePull ：通用的拉取镜像出错

CreateContainerConfigError ：不能创建 kubelet 使用的容器配置

CreateContainerError ：创建容器失败

RunContainerError ：启动容器失败

PreStartHookError : 执行 preStart hook 报错

PostStartHookError ：执行 postStart hook 报错

ContainersNotInitialized ：容器没有初始化完毕

ContainersNotReady ：容器没有准备完毕

ContainerCreating ：容器创建中

PodInitializing ： pod 初始化中

DockerDaemonNotReady ： docker 还没有完全启动

NetworkPluginNotReady ：网络插件还没有完全启动

Failed

失败（Failed）：Pod中的所有容器都已终止了，并且至少有一个容器是因为失败终止。即容器以非0状态退出或者被系统禁止。（容器进程主动退出）

容器进程如果是自己主动退出 ( 不是被外界中断杀死 ) ，退出状态码一般在 0-128 之间，根据约定，正常退出时状态码为 0 ， 1-127 说明是程序发生异常，主动退出了，比如检测到启动的参数和条件不满足要求，或者运行过程中发生 panic 但没有捕获处理导致程序退出。除了可能是业务程序 BUG ，还有其它许多可能原因，这里我们一一列举下。

DNS 无法解析

可能程序依赖集群 DNS 服务，比如启动时连接数据库，数据库使用 service 名称或外部域名都需

要 DNS 解析，如果解析失败程序将报错并主动退出。解析失败的可能原因 :

集群网络有问题，Pod 连不上集群 DNS 服务
集群 DNS 服务挂了，无法响应解析请求
Service 或域名地址配置有误，本身是无法解析的地址

程序配置有误

配置文件格式错误，程序启动解析配置失败报错退出
配置内容不符合规范，比如配置中某个字段是必选但没有填写，配置校验不通过，程序报错主动退出

Pod 一直处于 ImagePullBackOff 状态

http 类型 registry，地址未加入到 insecure-registry

dockerd 默认从 https 类型的 registry 拉取镜像，如果使用 https 类型的 registry ，则必须将它添加到 insecure-registry 参数中，然后重启或 reload dockerd 生效。

https 自签发类型 resitry，没有给节点添加 ca 证书

如果 registry 是 https 类型，但证书是自签发的，dockerd 会校验 registry 的证书，校验成功才能正常使用镜像仓库，要想校验成功就需要将 registry 的 ca 证书放置到 /etc/docker/certs.d/<registry:port>/ca.crt 位置。

私有镜像仓库认证失败

如果 registry 需要认证，但是 Pod 没有配置 imagePullSecret ，配置的 Secret 不存在或者

有误都会认证失败。

镜像文件损坏

如果 push 的镜像文件损坏了，下载下来也用不了，需要重新 push 镜像文件。

镜像拉取超时

如果节点上新起的 Pod 太多就会有许多可能会造成容器镜像下载排队，如果前面有许多大镜像需要下载很长时间，后面排队的 Pod 就会报拉取超时。 kubelet 默认串行下载镜像 :

--serialize-image-pulls Pull images one at a time. We recommend *not* changing the default value on nodes that run docker daemon with version < 1.9 or an Aufs storage backend. Issue #10959 has more details. (default true)

也可以开启并行下载并控制并发:

--registry-qps int32 If > 0, limit registry pull QPS to this value. If 0, unlimited. (default 5) 2. --registry-burst int32 Maximum size of a bursty pulls, temporarily allows pulls to burst to this number, while still not exceeding registry-qps. Only used if --registry-qps > 0 (default 10)

镜像不不存在：

kubelet 日志 :

PullImage "imroc/test:v0.2" from image service failed: rpc error: code = Unknown desc = Error response from daemon: manifest for imroc/test:v0.2 not found

Pod 一直处于 ImageInspectError 状态

通常是镜像文件损坏了，可以尝试删除损坏的镜像重新拉取

Pod 处于 CrashLoopBackOff 状态

Pod 如果处于 CrashLoopBackOff 状态说明之前是启动了，只是又异常退出了，只要 Pod 的

restartPolicy 不是 Never 就可能被重启拉起，此时 Pod 的 RestartCounts 通常是大于0 的，可以先看下容器进程的退出状态码来缩小问题范围。

容器进程主动退出

如果是容器进程主动退出，退出状态码一般在 0-128 之间，除了可能是业务程序 BUG，还有其它许多可能原因。

系统 OOM

如果发生系统 OOM，可以看到 Pod 中容器退出状态码是 137，表示被 SIGKILL 信号杀死，同时内核会报错: Out of memory: Kill process ... 。大概率是节点上部署了其它非 K8S 管理的进程消耗了比较多的内存，或者 kubelet 的 --kube-reserved 和 --system-reserved 配的比较小，没有预留足够的空间给其它非容器进程，节点上所有 Pod 的实际内存占用总量不会超过 /sys/fs/cgroup/memory/kubepods 这里 cgroup 的限制，这个限制等于 capacity - "kube-