深坑，我服务的进程被莫名其妙的被干掉了

一.背景描述

     大早上突然同事给我打电话，说我的服务调不通了，我上了服务器看了一下，果然我的服务不见了，瞬间感觉心中有一万只草尼马奔腾而过。。。。

二.开始调查原因

   1.打开日志果然停留在早上6:20左右，之后再也没有任何输出了（因为发生公司生产环境，不方便贴出图片）使用大家都经常用的命令tail -f 查看即可。

   2.问下运维同事有没有挂掉之前的线程号，很遗憾并没有，使用dmesg | grep java命令， 看看是否存在被杀的相关信息，还真发现了不少进程被杀的情况，随后一个被杀的进程是：12729。抱着试试心态，看看在启动日志中能不能找到一点蛛丝马迹，果然启动信息中有启动线程号（因为发生公司生产环境，不方便贴出图片），以后想要在就可以先找到进程号，

(1)dmesg：dmesg | grep 12729 

(2)message日志： tail -10 /var/log/message

从上面的时间来看，就正好吻合了。

三.定位问题

打开集群中同一以应用内存占用的情况，大约占用在16%-17%之间，而挂掉的那台服务器上内存明显不足，百度下oom-killer映入眼帘