记一次centos系统CPU占有率高的处理经过

早上到公司，发现公司群里在反馈有一个业务系统出现了问题，从昨天晚上到早上还未恢复，由于事情紧急，马上开始处理。

一、重启业务系统

本以为是业务系统可能存在bug，造成了当机了。所以首先重启了业务系统，后发现问题依旧。

而且在操作的过程中发现系统反应速度非常慢。

二、找到问题

通过top查看系统进程情况，发现有个进制cpu占用率非常高。

再查看了该进制的具体内容：

发现该进程好像不是常用的进程，看来问题就在这个进程上来。

用kill 877 结束进程，系统恢复正常。

三、问题重现

以为这样就处理完了吗？这也太简单了吧。恢复正常不超过1分钟，系统又出现开头的情况。

这就麻烦了，进程会自动启动，说明有相应的守护进程在监视着它。

为了偷懒网上找下有没有相关的内容，输入cpu 100% config.json，百度走起。

看到了下面的一篇文章:

https://www.cnblogs.com/birdstudio/p/7988413.html

虽然看起来有点不一样，保险起见还是去看了下计划任务。

执行 crontab -l，发现有以下内容。

进入目录查看：

确实存在config.json文件,查看bash.pid里的内容为占有率高的进程的pid。看来问题就在这里。 

四、处理问题

1、关闭计划任务

service crond stop

2、删除/usr/lib64/.abrt目录和计划任务

rm -rf /usr/lib64/.abrt

crontab -r

3、kill cpu占有率高的进程。

按此操作跟踪了半小时，问题没有复现，说明问题已经暂时处理。

五、分析该木马的运行机制

删除.abrt文件之前拷贝了该文件夹，通过文本编辑器打开后，进行简单分析。

应该是拷贝了sh、libgkl、config.json、upd几个文件到服务器上。

然后用sh执行libgk文件，创建任务计划。执行config.json中的内容。

 

 

六、遗留问题

虽然问题处理了，但是目前还不知道该文件是通过哪个途径进来的，因此下一步还需要进一步分析系统漏洞存在的地方，进一步关闭罪恶的大门。