k8s节点假死排查记录

说明：节点指部署了k8s相关组件的虚拟机

问题描述

应用方反映在kibana上搜索不到最新日志，未被fluent收集，查看fluent容器的日志 ，报错：can’t create Thread: Resource temporarily unavailable"，在master节点查询节点状态正常，ssh登录节点，报错：fork faild cannot allocate memory

解决并分析问题

快速重启节点恢复应用，然后根据出现的报错内容排查问题，初次判定是进程数被使用完，导致无法分配进程给ssh，让节点处于假死状态，根据问题排查步骤如下：
1、 查询进程数量：ps -eLf | wc -l ，显示个数:14320

[root@k8s-node5]# ps -eLf | wc -l
14320

2、 查看用户使用的进程数：ps h -Led -o user | sort | uniq -c | sort -n，显示

3、 查看节点最大可用进程数,显示个数：32768

<