简述
1: 因为公司未配备运维人员,所以我来兼顾运维相关的工作职责,在51期间,大家放假的时候,而我只能默默的在维护服务器的安全,保障项目稳定运行(说多都是泪啊),废话不多,直接进入正题,在使用KubeSphereb部署项目的时候,发现项目突然之间启动特别慢,既然耗时起码5-6分钟左右,项目不大,初始化的东西也不不多,在查看容器日志的时候,发现一直卡在初始化阶段,发生该情况后,我感觉不对劲,不像寻常的问题,我就开始一一着手排查调试
过程
1: 在排除了项目本身影响因素后,就开始定位服务器的问题,是什么导致的,期间我去检查了下KubeSphere的影响因素问题,发现并无大碍,然后就开始查看进程和内存,看下是否也有影响
执行了下
top -c
看到有个进程尽然占用了百分之300多,继续往上追溯,该进程是什么,发挥的什么作用,该进程谁执行的,哪个用户组执行了继续执行cd /proc/31711找到这个进程的执行路径,并再次执行ls -l exe最后剖析出一个非法用户,再次执行了下crontab -e,发现该用户还在服务器上执行了定时脚本,后面也针对服务器查看了下netstat -antlp发现有个荷兰的IP地址一直和我们服务器有连接,里里外外检查下服务器是否有其余异常执行,发现问题那么久好解决了,根除式解决,该清除的清除,该做措施的做措施等系列操作,处理完,后续久没在发生过资源利用的问题了…
补充: 我们用的云服务器,我在检查所有服务器时候,发现有8台中了该挖矿木马,其实这些安全防护,完全可以直接买主机安全,云防火墙等,但公司要控制成本,所以只能自己亲力亲为
结语
1: 一定要先分析,一点点的尝试,在第一次遇到问题,要结合自己的分析路程一点点的去尝解剖,没有什么事情是解决不了,后面久整一些监听和通知的措施,也回想是什么原因导致中了挖矿,避免再次发生类似原因,如果厉害点的木马,伪装进程懵骗等等情况的话,久另外处理了