症状:
在宝塔管理面板看到服务器满百,CPU负载满百,内存富裕,磁盘富裕,网站能正常访问。
排查:
top查询后发现除了elasticsearch与阿里云盾占用偶尔过10%之外,其他都是在1%甚至0%
查看宝塔的监控页面,对照安全页面,cpu负载飙升的时刻,操作记录显示当时正在重启redis,判断应该是调整redis配置时导致的异常
因为单进程CPU占用极低,排除病毒干扰的话,可能是因为进程执行速度极快且在不断重启
回想服务器上是否存在定时程序及类似进程,想起由supervisor守护的think-queue有类似的效果
检查supervisor产生的运行日志,发现大量报错,显示redis拒绝访问
想起之前跳转redis配置时新增了访问密码,而think-queue配置并没更新密码,导致访问拒绝
然后就出现了进程不断快速重启导致cpu满负载的情况。
更新think-queue配置后,情况恢复正常。