1.问题现象
通过top命令查看资源占用发现有大量kworker线程占用CPU资源,如下图。怀疑是系统问题或平台程序导致的问题。
2.是否是程序导致的论证过程
因平台有两部分组成socket+web端,考虑可能是两者中的一个导致的,因此采用以下三种方式验证:
[1] 只关掉socekt端,问题依旧出现
[2] 只关掉web端,问题依旧出现
[3] 全部关掉,问题依旧出现
通过top命令查看资源占用发现两个程序占用cpu和内存的资源并不大,经[1]-[3]和top命令论证不是平台程序的问题。
3.是否是linux系统本身的问题
排除程序问题后考虑是系统本身问题,查看系统版本,查到centos7.0有kworker bug问题。因为相同的程序部署到另外一个市场,同样采用的是centos7.0版本系统,因此排查是系统问题导致的。
4.问题根源确定
通过top命令发现kworker线程有规律性的定时启动,考虑到可能中毒成为矿机。于是查看系统定时任务,发现有一定时任务每三分钟启动一次。网上查证该脚本,发现为木马程序,本次问题的现象以及文件名与网上的情形一致。具体资料如下:
https://www.waitalone.cn/linux-xorddos.html
按照https://www.waitalone.cn/linux-xorddos.html中的方式修改后,重启服务器,木马脚本不再出现(如下图),监控cpu 内存没有再出现问题,至此,问题解决。