事故说明:

   周一到公司,登录邮件服务器断断续续徐,无法一直连接。查看本机一切正常,这时候机房打电话说我们服务器带宽异常,如下:

wKiom1bc_gfAMbGzAACJ9dQiws8710.png

赶紧登录自己zabbix 监控,逐台查找,找到问题服务器:

wKioL1bc_yzwjqhsAAE9OE6jB_E921.png

登录到相关服务器,查看网卡状况:

wKioL1bc_7uAHQIOAACAfHNuXy8814.png

服务器跑的我们自己的程序和几个简单的服务,去查日志,均未发现异常,查看系统状态,发现异常,有个进程尽然消耗CPU较高,特别可疑:

wKiom1bdAMiwsceMAABc51b1Igc631.png


kill 掉这个进程后,竟然产生了其他的进程,看来这个进程不是那么容易的被杀掉:

wKiom1bdAV6Q2Hp5AACDUQyitlE757.png

哇,占用CPU更高了,竟然800%,看来这个***进程不能轻易被杀掉,查找这个命令的路径:`which qsvtzrwjje`,查看任务计划发现异常:

wKioL1bdAnSDx3cpAAAlEybd4II259.png

查看脚本内容:

wKioL1bdAqrxhzH4AAAfBi5Fw9k888.png

删除掉脚及内容涉及的文件,在系统启动时/etc/init.d下也发现这个文件:

wKioL1bdA1TROt6-AAA9PWaXzUY777.png

删除这个文件后,在系统启动/etc/rcX.d 下每个级别都发现这个文件的无效链接,需要一一删除:

wKioL1bdA6ewN8A5AACez2bRfyA753.png 

必须尽快清理掉:

1.去掉执行权限,并锁定目录

chmod 000 /usr/bin/ezymivavhq
chattr +i /usr/bin/
chattr +i /bin
chattr +i /tmp


2.删除文件:

rm -f /etc/init.d/ezymivavhq
rm -f /etc/rcX.d/ 无效链接


3.杀掉进程及执行文件

killall ezymivavhq
rm -f /usr/bin/ezymivavhq



过几分钟检查发现系统恢复正常。

安装rkhunter检查系统:

https://sourceforge.net/projects/rkhunter/ 
tar -xf rkhunter-1.4.2.tar.gz
cd rkhunter-1.4.2
sh installer.sh --install

执行检查:

/usr/local/bin/rkhunter -c

没有发现异常。