症状:
(1)首先预发布环境的一个页面经常打不开,很不稳定,查看原因是机器上的nginx经常挂掉(重启后几个小时后又会挂掉)。
(2)开发环境的register监控也时常挂掉,重启后可恢复,但很不稳定,症状跟上一台相似。
开始排查原因(思路):
(1)top查看发现有一个进程(类似系统进程)占用超高CPU,几乎打满,直接kill失败,会自行恢复
(2)怀疑是系统进程问题,排查一天无果,方向错误。
(3)使用cpulimit工具限制该进程,发现该进程被限制在可控范围,但会导致其他进程启动失败。
(4)查看/var/log/下系统日志无异常信息(异常信息被病毒抹去)。
(5)查看定时任务crontab -l、/etc/crontab发现有一条奇怪任务,经查询基本定位为挖矿病毒kerberods
(6)tcpdump发现机器在不断的与国外地址进行通信下载
(7)iptables使机器断绝与外界通信,发现进程自动消失,cpu消耗降下来。但过一会病毒会清空防火墙策略,继续拉起进程。(一度导致自己也与机器断开联系,请外地运维人员关闭防火墙才ssh上)
(8)netstat -anlp 发现有异常连接存在,为国外地址连接。根据路径又找到1个异常进程kingsing。杀掉该进程,及相关文件。
(9)再次打开防火墙,清除病毒进程。观察两天病毒不再恢复,成功。
病毒特性:
(1)超强的生存能力、隐蔽性、伪装性、传染性、病毒文件的大量性重复性。
(2)系统攻破后,攻击痕迹几乎被擦除(系统日志,文件篡改时间等等)
(3)病毒文件无法直接删除需要chattr -aij 文件名
(4)攻击防火墙,达到与外界联系
(5)伪装成系统进程,错误引导运维人员排查方向
(6)nc + shell反弹,ump脱壳
(7)病毒运行脚本难以获取
命令经验
lsof -p pid 进程的详细信息列出,包括连接信息
chattr -aij 文件名
tcpdump 抓包
netstat -anlp 查看网络连接等详细信息
nmap 112.25.75.61 需要先安装nmap (端口扫描)
/var/log/messages查看是否有来自其他未知ip的暴力破解