故障现象:监控报警7台服务器ssh和磁盘健康异常,相关日志上传失败

故障排查:尝试手动执行异常监控中的ssh语句,发现远程命令无法执行,如echo也不行,只有本地登陆后才正常执行
详见下图,明明有文件确远程执行不出来:
进一步查看连接数,发现大量22端口的中控连接(70个以上均为ESTABLISHED),
后结合日志上传失败故障,发现日志上传脚本问题,中控上有大量相关进程,杀掉进程后连接释放,尝试重启sshd服务,问题解决,可以远程执行命令
故障原因:GS上22端口连接数过多导致ssh假死不相应远程命令请求
解决方案:重启sshd服务,同时查找22端口连接数过多原因