收到告警可用内存小于1G
研发反馈sql执行慢
查看监控大盘发现对应时间点磁盘io飙升,cpu 网口流量均正常 排除被攻击的可能性
使用ps auxw --sort=rss 排序内存占用查看占用资源前四日志没有发现程序异常
查看messages发现内存oom
Nov 16 09:12:52 newbb-qscd-47 kernel: Out of memory: Kill process 11081 (vim) score 346 or sacrifice child
Nov 16 09:12:52 newbb-qscd-47 kernel: Killed process 11081 (vim) total-vm:5953828kB, anon-rss:5804960kB, file-rss:112kB, shmem-rss:0kB
因为运维没有写过vim的定时任务和脚本所以查看对应时间等登录服务器信息
查看 secure登录日志
Nov 16 09:09:40 newbb-qscd-47 sshd[10818]: Accepted publickey for root from 47.115.95.xx port 4xxx ssh2: RSA SHA256:0bMxxxxxxxx81sNYvVc6MiR2xxxxxxxxxx
经查询是研发同学对一个大日志文件执行了vim 导致内存打满内核自动kill掉vim进程