记一次 Kubernetes 集群 Pod Eviction 问题排查过程

声明：
本博客欢迎转发，但请保留原作者信息!
新浪微博：@Lingxian_kong;
微信公众号：飞翔的尘埃;
内容系本人学习、研究和总结，如有雷同，实属荣幸！

现象：一个普通的 k8s 集群，3 个 worker node，k8s 版本 v1.19.0。发现 worker 1 上运行的某些 pod 被 evicted。pod 中的 status.message 显示：

可以看到很多 pod 都是 Evicted 状态，并且错误信息也比较明确，The node was low on resource: ephemeral-storage，即 node 上的本地存储空间不足，导致 kubelet 触发了 eviction 流程，关于 Kubernetes 中的 Node-pressure Eviction 介绍参见这里。

因此，对用户提出建议：

• 扩容，可以手动向集群增加一个 worker 或者部署 cluster-autoscaler 根据设定的条件自动扩容。当然，也可以只增加 worker 的本地存储空间，这里涉及虚拟机的 resize，会导致 worker node 暂时不可用。

• 针对一些关键 app，在其 manifest 中指定资源的 requests & limits，给 pod 赋予 Guaranteed QoS class，这样至少保证在 kubelet 触发 eviction 时尽量不影响这些 pod 的运行。参见