前几天尝试用3台云服务器搭建起了一个hadoop集群,其中有两台服务器用来跑自己社团和博客的网站,突然发现打开网页变卡。然后使用top命令,发现有个进程的cpu占用率尽然高达99%,于是将其kill,cpu缓和了不少,但是不久后又出现新的进程,cpu同样飙升到99%,这个问题前天发现,不过通过这几天的查找,找到了问题的所在。
问题出现高占用cpu
解决问题:
执行ps aux |grep [pid]命令,定位到可疑的挖矿木马文件,位于/var/tmp/目录下
执行hadoop version命令,检查Hadoop版本,当前Linux服务器上安装的Hadoop版本号为2.6.5(此版本支持认证服务,但若未开启,攻击者则可通过Hadoop Yarn资源管理系统REST API未授权漏洞入侵系统)
cd /etc 执行 crontab -e命令,检查任务计划,yarn用户每分钟向C2地址发起请求,获取最新脚本文件(将其用#注释)
注释掉这行木马代码
执行 cat /var/log/cron命令,(查看对应的日志文件)检查任务计划日志,发现挖矿木马在替换过C2地址
通过上述操作,我们定位到了此次事件中的门罗币挖矿木马程序和核心控制脚本,由于涉及到网络安全知识,本人能力尚浅,不足已说明,仅此提供解决方案
详细木马内容请看:https://yq.aliyun.com/articles/590449
注释掉木马文件后,kill高cpu进程,cpu利用率恢复正常且不再出现
后续维护:
1、先收回\tmp目录的执行权限
2、通过安全组关闭yarn的8088端口,防止后续黑客继续入侵
3、对yarn提交任务进行最小权限控制,用户权限控制
4、清理ssh里的可疑文件,和known hosts