背景
linux centos7.6系统
k8s集群刚刚经历节点资源缩容:从8C 32缩小至4c16G
现象
恢复k8s节点后发现很多pod都处于Pending :
原因
由于资源缩容,每个服务占用的cpu和内存值没有改变,导致机器分配资源时内存或cpu不足导致
这一点可以通过kubectl describe node {node_name}查看某node上已分配的pod和内存cpu消耗率来佐证。
解决
1、资源扩容
2、将每个服务默认占用的资源缩小
反思与规避
缩容之前要与产品、研发、运维侧充分沟通后,出具可执行方案再执行。
本次之所以事件发生,就是因为项目经理私自出具缩容计划,并与客户确定缩容时间,导致执行时出现此问题。
好记性不如赖笔头(多敲代码)。共勉。