【Kubernetes】Pod 的生命周期（二）：Pod 的健康检查之容器探针

G皮T

已于 2024-08-10 23:50:16 修改

阅读量825

点赞数 14

分类专栏： # Kubernetes 文章标签：云原生 K8s Pod kubernetes kubelet 容器探针

于 2024-05-06 23:08:16 首次发布

本文链接：https://blog.csdn.net/Be_racle/article/details/138511408

版权

Kubernetes 专栏收录该内容

25 篇文章 0 订阅

订阅专栏

《Pod 详解》系列，共包含以下几篇文章：

😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧（点赞 🧡、关注 💛、收藏 💚）！！！您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容！！！

在这里插入图片描述

6.Pod 的健康检查：容器探针

当 Pod 处于运行状态时，kubelet 使用探针（Probe）对容器的健康状态进行检查和诊断。要执行诊断，kubelet 既可以在容器内执行代码，也可以发出一个网络请求。

6.1 探测结果

每次探测都将获得以下三种结果之一：

Success（成功）：容器通过了诊断。
Failure（失败）：容器未通过诊断。
Unknown（未知）：诊断失败，因此不会采取任何行动。

6.2 探测类型

针对运行中的容器，kubelet 可以选择是否执行以下三种探针，以及如何针对探测结果作出反应。

探针的类型	简称	描述
`livenessProbe`	存活探针	检查 Pod 中的容器是否正在运行。如果检查失败，则 kubelet 将 “杀死” 容器，并根据 Pod 的 `restartPolicy` 字段进行操作。如果容器不提供存活探针，则默认状态为 `Success`。
`readinessProbe`	就绪探针	检查 Pod 中的容器是否准备好为请求提供服务。如果就绪探针检查失败，则 Kubernetes 会把 Pod 从 Service Endpoint 中剔除，从而让外部无法进行访问。如果容器不提供就绪态探针，则默认状态为 `Success`。
`startupProbe`	启动探针	检查在 Pod 中的容器中部署的应用是否已经启动。如果启动探针检查失败，则 kubelet 将 “杀死” 对应的容器，并且根据重启策略进行容器的重启。如果容器没有提供启动探针，则默认状态为 `Success`。需要注意的是：如果提供了启动探针，则其他类型的探针都会被禁用，直到启动探针成功执行为止。

如欲了解如何设置存活态、就绪态和启动探针的进一步细节，可以参阅配置存活态、就绪态和启动探针。

6.2.1 何时该使用存活探针

如果容器中的进程能够在遇到问题或不健康的情况下自行崩溃，则不一定需要存活态探针；kubelet 将根据 Pod 的 restartPolicy 自动执行修复操作。

如果你希望容器在探测失败时被杀死并重新启动，那么请指定一个存活态探针，并指定 restartPolicy 为 Always 或 OnFailure。

6.2.2 何时该使用就绪探针

如果要仅在探测成功时才开始向 Pod 发送请求流量，请指定就绪态探针。在这种情况下，就绪态探针可能与存活态探针相同，但是规约中的就绪态探针的存在意味着 Pod 将在启动阶段不接收任何数据，并且只有在探针探测成功后才开始接收数据。

如果你希望容器能够自行进入维护状态，也可以指定一个就绪态探针，检查某个特定于就绪态的因此不同于存活态探测的端点。

如果你的应用程序对后端服务有严格的依赖性，你可以同时实现存活态和就绪态探针。当应用程序本身是健康的，存活态探针检测通过后，就绪态探针会额外检查每个所需的后端服务是否可用。这可以帮助你避免将流量导向只能返回错误信息的 Pod。

如果你的容器需要在启动期间加载大型数据、配置文件或执行迁移，你可以使用启动探针。然而，如果你想区分已经失败的应用和仍在处理其启动数据的应用，你可能更倾向于使用就绪探针。

🚀 说明：请注意，如果你只是想在 Pod 被删除时能够排空请求，则不一定需要使用就绪态探针；在删除 Pod 时，Pod 会自动将自身置于未就绪状态，无论就绪态探针是否存在。等待 Pod 中的容器停止期间，Pod 会一直处于未就绪状态。

6.2.3 何时该使用启动探针

对于所包含的容器需要较长时间才能启动就绪的 Pod 而言，启动探针是有用的。你不再需要配置一个较长的存活态探测时间间隔，只需要设置另一个独立的配置选定，对启动期间的容器执行探测，从而允许使用远远超出存活态时间间隔所允许的时长。

如果你的容器启动时间通常超出 initialDelaySeconds + failureThreshold × periodSeconds 总值，你应该设置一个启动探测，对存活态探针所使用的同一端点执行检查。 periodSeconds 的默认值是 10 秒。你应该将其 failureThreshold 设置得足够高，以便容器有充足的时间完成启动，并且避免更改存活态探针所使用的默认值。这一设置有助于减少死锁状况的发生。

6.3 检查机制（实战）

使用探针来检查容器有四种不同的方法。每个探针都必须准确定义为这 4 种机制中的 1 种。

6.3.1 HTTPGETAction

对容器的 IP 地址上指定端口和路径执行 HTTP GET 请求。如果响应的状态码大于等于 200 且小于 400，则诊断被认为是成功的。

创建 httpgetaction.yaml 文件，并输入下列内容。

apiVersion: v1
kind: Pod
metadata:
  labels:
    test: liveness
  name: liveness-http
spec:
  containers:
  - name: liveness-http
    image: nginx
    ports:
    - name: http
      containerPort: 80
    lifecycle:
      postStart:
        exec:
          command:
          - /bin/sh
          - -c
          - 'echo healty > /usr/share/nginx/html/healthz'
    livenessProbe:
      httpGet:
        path: /healthz
        port: http
        scheme: HTTP
      initialDelaySeconds: 10
      periodSeconds: 5

httpgetaction.yaml 文件使用 Nginx 的镜像创建 Pod。同时在容器 liveness-http 中执行 echo Healty >/usr/share/nginx/html/healthz 命令创建了一个 nginx 目录。通过存活探针进行检测，第 $1$ 次监测时间为 Pod 容器启动后的 $10 s$ ，以后每隔 $5 s$ 监测一次。

使用 kubeclt apply 命令应用 httpgetaction.yaml 文件

kubectl apply -f httpgetaction.yaml

查看 Pod 的运行信息

kubectl describe pods liveness-http

Events:
	Type    Reason      Message
	----    ------      -------
	Normal  Scheduled   Successfully assigned default/liveness-http to node2
	Normal  Pulling     Pulling image "nginx"
	Normal  Pulled      Successfully pulled image "nginx"
	Normal  Created     Created container liveness-http
	Normal  Started     Started container liveness-http

使用 kubectl exec 命令删除容器中的 /usr/share/nginx/html/healthz 目录

kubectl exec liveness-http rm /usr/share/nginx/html/healthz

再次查看查看 Pod 的运行信息

kubectl describe pods liveness-http

Events:
	Type     Reason      Message
	----     ------      -------
	Normal   Scheduled   Successfully assigned default/liveness-http to node2
	Normal   Pulled      Successfully pulled image "nginx"
	Normal   Created     Created container liveness-http
	Normal   Started     Started container liveness-http
	Normal   Pulling     Pulling image "nginx"
	Warning  Unhealthy   Liveness probe failed: HTTP probe failed with statuscode: 404
	Normal   Killing     Container liveness-http failed liveness probe, will be restarted

6.3.2 ExecAction

在容器内执行 Shell 命令。如果命令退出时返回码为 $0$ ，则认为诊断成功。

创建 execaction.yaml 文件，并输入下列内容。

apiVersion: v1
kind: Pod
metadata:
  labels:
    test: liveness
  name: liveness-exec
spec:
  containers:
  - name: liveness
    image: busybox
    args:
    - /bin/sh
    - -c
    - touch /tmp/healthy; sleep 10; rm -rf /tmp/healthy; sleep 10
    ## 这里以存活探针为例
    livenessProbe:  
       ## 指定存活探针检查方法是ExecAction
      exec:
         ## 指定在容器内具体执行的命令
        command:
        - cat
        - /tmp/healthy
       ## 指定容器启动5秒后才进行检查
      initialDelaySeconds: 5   
       ## 指定每隔5秒检查一次
      periodSeconds: 5

这里使用 ExecAction 方式检测 /tmp/healthy 文件。该文件在创建 $10 s$ 后就会被删除。如果使用 ExecAction 方式检测文件已被删除，则存活探针会返回失败，然后根据重启策略进行 Pod 的重启。下次使用 ExecAction 方式检测时再重复这个过程，检测过程将无限循环。

🚀 注意：和其他机制不同，exec 探针的实现涉及每次执行时创建/复制多个进程。因此，在集群中具有较高 pod 密度、较低的 initialDelaySeconds 和 periodSeconds 时长的时候，配置任何使用 exec 机制的探针可能会增加节点的 CPU 负载。这种场景下，请考虑使用其他探针机制以避免额外的开销。

6.3.3 TCPSocketAction

对指定容器的 IP 地址和端口发起建立 TCP Socket 连接的请求，如果 Socket 连接被成功建立，则诊断的结果是成功的。如果远程系统（容器）在打开连接后立即将其关闭，这算作是健康的。

创建 tcpsocketaction.yaml 文件，并在其中输入以下内容。

apiVersion: v1
kind: Pod
metadata:
  name: liveness-tcp
  labels:
    app: httpd
spec:
  containers:
  - name: liveness-tcp
    image: nginx
    ports:
    - containerPort: 80
    readinessProbe:
      tcpSocket:
        port: 8080
      initialDelaySeconds: 10
      periodSeconds: 5
    livenessProbe:
      tcpSocket:
        port: 8080
      initialDelaySeconds: 10
      periodSeconds: 5

tcpsocketaction.yaml 文件基于 Nginx 的镜像创建 Pod。Nginx 提供的服务端口是 $80$ 。然后配置两个探针 readinessProbe 和 livenessProbe。这两个探针使用 TCPSocketAction 的方式连接 $8080$ 端口。第 1 次监测时间为 Pod 容器启动后的 $10 s$ ，以后每隔 $5 s$ 监测一次。由于探针无法连接容器的 $8080$ 端口而导致检测失败，所以容器一直重启。

6.3.4 gRPC

使用 gRPC 执行一个远程过程调用。目标应该实现 gRPC 健康检查。如果响应的状态是 SERVING，则认为诊断成功。

7.Pod 的终止

由于 Pod 所代表的是在集群中节点上运行的进程，当不再需要这些进程时允许其体面地终止是很重要的。一般不应武断地使用 KILL 信号终止它们，导致这些进程没有机会完成清理操作。

设计的目标是令你能够请求删除进程，并且知道进程何时被终止，同时也能够确保删除操作终将完成。当你请求删除某个 Pod 时，集群会记录并跟踪 Pod 的体面终止周期，而不是直接强制地杀死 Pod。在存在强制关闭设施的前提下， kubelet 会尝试体面地终止 Pod。

通常 Pod 体面终止的过程为：kubelet 先发送一个带有体面超时限期的 TERM（又名 SIGTERM）信号到每个容器中的主进程，将请求发送到容器运行时来尝试停止 Pod 中的容器。停止容器的这些请求由容器运行时以异步方式处理。这些请求的处理顺序无法被保证。许多容器运行时遵循容器镜像内定义的 STOPSIGNAL 值，如果不同，则发送容器镜像中配置的 STOPSIGNAL，而不是 TERM 信号。一旦超出了体面终止限期，容器运行时会向所有剩余进程发送 KILL 信号，之后 Pod 就会被从 API 服务器上移除。如果 kubelet 或者容器运行时的管理服务在等待进程终止期间被重启，集群会从头开始重试，赋予 Pod 完整的体面终止限期。

下面是一个例子：

你使用 kubectl 工具手动删除某个特定的 Pod，而该 Pod 的体面终止限期是默认值（30 秒）。

API 服务器中的 Pod 对象被更新，记录涵盖体面终止限期在内 Pod 的最终死期，超出所计算时间点则认为 Pod 已死（dead）。如果你使用 kubectl describe 来查验你正在删除的 Pod，该 Pod 会显示为 Terminating（正在终止）。在 Pod 运行所在的节点上：kubelet 一旦看到 Pod 被标记为正在终止（已经设置了体面终止限期），kubelet 即开始本地的 Pod 关闭过程。

如果 Pod 中的容器之一定义了 preStop 回调，kubelet 开始在容器内运行该回调逻辑。如果超出体面终止限期时，preStop 回调逻辑仍在运行，kubelet 会请求给予该 Pod 的宽限期一次性增加 2 秒钟。如果 preStop 回调在体面期结束后仍在运行，kubelet 将请求短暂的、一次性的体面期延长 2 秒。（如果 preStop 回调所需要的时间长于默认的体面终止限期，你必须修改 terminationGracePeriodSeconds 属性值来使其正常工作。）
kubelet 接下来触发容器运行时发送 TERM 信号给每个容器中的进程 1。（Pod 中的容器会在不同时刻收到 TERM 信号，接收顺序也是不确定的。如果关闭的顺序很重要，可以考虑使用 preStop 回调逻辑来协调。）

在 kubelet 启动 Pod 的体面关闭逻辑的同时，控制平面会评估是否将关闭的 Pod 从对应的 EndpointSlice（和端点）对象中移除，过滤条件是 Pod 被对应的服务以某选择算符选定。 ReplicaSet 和其他工作负载资源不再将关闭进程中的 Pod 视为合法的、能够提供服务的副本。

关闭动作很慢的 Pod 不应继续处理常规服务请求，而应开始终止并完成对打开的连接的处理。一些应用程序不仅需要完成对打开的连接的处理，还需要更进一步的体面终止逻辑。比如：排空和完成会话。

任何正在终止的 Pod 所对应的端点都不会立即从 EndpointSlice 中被删除，EndpointSlice API（以及传统的 Endpoints API）会公开一个状态来指示其处于终止状态。正在终止的端点始终将其 ready 状态设置为 false（为了向后兼容 1.26 之前的版本），因此负载均衡器不会将其用于常规流量。

如果需要排空正被终止的 Pod 上的流量，可以将 serving 状况作为实际的就绪状态。

超出终止宽限期限时，kubelet 会触发强制关闭过程。容器运行时会向 Pod 中所有容器内仍在运行的进程发送 SIGKILL 信号。kubelet 也会清理隐藏的 pause 容器，如果容器运行时使用了这种容器的话。
kubelet 将 Pod 转换到终止阶段（Failed 或 Succeeded 具体取决于其容器的结束状态）。这一步从 1.27 版本开始得到保证。
kubelet 触发强制从 API 服务器上删除 Pod 对象的逻辑，并将体面终止限期设置为 0 （这意味着马上删除）。
API 服务器删除 Pod 的 API 对象，从任何客户端都无法再看到该对象。

7.1 强制终止 Pod

🚀 对于某些工作负载及其 Pod 而言，强制删除很可能会带来某种破坏。

默认情况下，所有的删除操作都会附有 30 秒钟的宽限期限。 kubectl delete 命令支持 --grace-period=<seconds> 选项，允许你重载默认值，设定自己希望的期限值。

将宽限期限强制设置为 0 意味着立即从 API 服务器删除 Pod。如果 Pod 仍然运行于某节点上，强制删除操作会触发 kubelet 立即执行清理操作。

🚀 你必须在设置 --grace-period=0 的同时额外设置 --force 参数才能发起强制删除请求。

执行强制删除操作时，API 服务器不再等待来自 kubelet 的、关于 Pod 已经在原来运行的节点上终止执行的确认消息。 API 服务器直接删除 Pod 对象，这样新的与之同名的 Pod 即可以被创建。在节点侧，被设置为立即终止的 Pod 仍然会在被强行杀死之前获得一点点的宽限时间。

🚀 马上删除时不等待确认正在运行的资源已被终止。这些资源可能会无限期地继续在集群上运行。

7.2 Pod 的垃圾收集

对于已失败的 Pod 而言，对应的 API 对象仍然会保留在集群的 API 服务器上，直到用户或者控制器进程显式地将其删除。

Pod 的垃圾收集器（PodGC）是控制平面的控制器，它会在 Pod 个数超出所配置的阈值（根据 kube-controller-manager 的 terminated-pod-gc-threshold 设置）时删除已终止的 Pod（阶段值为 Succeeded 或 Failed）。这一行为会避免随着时间演进不断创建和终止 Pod 而引起的资源泄露问题。

此外，PodGC 会清理满足以下任一条件的所有 Pod：

孤儿 Pod - 绑定到不再存在的节点，
计划外终止的 Pod
终止过程中的 Pod，当启用 NodeOutOfServiceVolumeDetach 特性门控时，绑定到有 node.kubernetes.io/out-of-service 污点的未就绪节点。

若启用 PodDisruptionConditions 特性门控，在清理 Pod 的同时，如果它们处于非终止状态阶段，PodGC 也会将它们标记为失败。此外，PodGC 在清理孤儿 Pod 时会添加 Pod 干扰状况。

G皮T

关注

14
点赞
踩
27

收藏

觉得还不错? 一键收藏
打赏
1
评论
【Kubernetes】Pod 的生命周期（二）：Pod 的健康检查之容器探针

本篇博客讲述 Pod 的生命周期。 Pod 遵循预定义的生命周期，起始于 Pending 阶段，如果至少其中有一个主要容器正常启动，则进入 Running，之后取决于 Pod 中是否有容器以失败状态结束而进入 Succeeded 或者 Failed 阶段。
复制链接

扫一扫