node资源不足导致的pod pending状态

背景

linux centos7.6系统
k8s集群刚刚经历节点资源缩容：从8C 32缩小至4c16G

现象

恢复k8s节点后发现很多pod都处于Pending :

原因

由于资源缩容，每个服务占用的cpu和内存值没有改变，导致机器分配资源时内存或cpu不足导致
这一点可以通过kubectl describe node {node_name}查看某node上已分配的pod和内存cpu消耗率来佐证。

解决

1、资源扩容
2、将每个服务默认占用的资源缩小

反思与规避

缩容之前要与产品、研发、运维侧充分沟通后，出具可执行方案再执行。
本次之所以事件发生，就是因为项目经理私自出具缩容计划，并与客户确定缩容时间，导致执行时出现此问题。

好记性不如赖笔头（多敲代码）。共勉。