文章目录
1.现象
- 服务系统超时
- xxl-job等待
- 日志截止到某天,不在写入。明显服务宕机了。
2.哪些原因可能会导致JAVA进程被kill呢?
- Java应用程序的问题:发生OOM导致进程Crash
- JVM自身故障:JVM或JDK自身的Bug导致进程Crash
- 被操作系统OOM-Killer
3.该如何去排查问题呢?
Java应用程序的问题:发生OOM导致进程Crash
这种情况主要取决于研发代码质量,我遇到过的大概有2次。一般情况下,出现OOM异常,JVM的GC会进行回收,是不会直接导致JVM进程退出的。如果出现退出的情况,那就是内存泄漏,由于内存占用越来越大,结果。。。。不过这种JVM的OOM导致的异常,很好排查。排查步骤如下:
- Step1: 查看JVM参数
-XX:+HeapDumpOnOutOfMemoryError
和-XX:HeapDumpPath=*/java.hprof
- Step2: 根据HeapDumpPath指定的路径查看是否产生dump文件;
- Step3: 若存在dump文件,使用VisualVM这种可视化工具分析就行等工具分析即可;
JVM自身故障:JVM或JDK自身的Bug导致进程Crash
这种情况遇到一次,是因为JDK自身BUG导致的。当JVM出现致命错误时,会生成一个hs_err_pid_xxx.log
这样的文件,该文件包含了导致jvm crash的重要信息,可以通过分析该文件定位到导致crash的根源,从而改善以保证系统稳定。当出现crash时,该文件默认会生成到工作目录下,然而可以通过jvm参数-XX:ErrorFile
指定生成路径,eg:
-XX:ErrorFile=/var/log/hs_err_pid<pid>.log
然后根据错误信息,可以进入Java BUG dataBase库中去查找对应的BUG:
https://bugs.java.com/bugdatabase/view_bug.do?bug_id=8134389
被操作系统OOM-Killer
这种情况也遇到过一次。Linux 内核有个机制叫OOM killer(Out-Of-Memory killer),该机制会监控那些占用内存过大,尤其是瞬间很快消耗大量内存的进程,为了防止内存耗尽而内核会把该进程杀掉。可以去/var/log/messages里翻系统报错日志,执行如下命令:egrep -i 'killed process' /var/log/messages
[root@ms log]# egrep -i 'killed process' /var/log/messages
Sep 21 03:33:11 ms kernel: Killed process 21866 (mysqld), UID 27, total-vm:9741628kB, anon-rss:4831868kB, file-rss:0kB, shmem-rss:0kB
Sep 21 22:15:13 ms kernel: Killed process 23490 (java), UID 0, total-vm:14291704kB, anon-rss:3492840kB, file-rss:140kB, shmem-rss:0kB
Sep 22 11:02:54 ms kernel: Killed process 3908 (java), UID 0, total-vm:12695224kB, anon-rss:3222112kB, file-rss:0kB, shmem-rss:0kB
当然,你也可以去内核日志里头查询。有时Linux系统或者系统上运行的java或者其它进程,会发生一些莫名其妙的问题,比如突然挂掉了,比如突然重启等等。在软件上找不到问题所在,此时我们应该怀疑硬件或者内核的问题,此时我们就可以执行 dmesg | grep java
命令来查看:
[root@ms log]# dmesg | grep java
[34377216.028219] [14896] 0 14896 2175525 483984 1070 0 0 java
[34377216.028225] Out of memory: Kill process 3908 (java) score 98 or sacrifice child
[34377216.029489] Killed process 3908 (java), UID 0, total-vm:12695224kB, anon-rss:3222112kB, file-rss:0kB, shmem-rss:0kB
完全是可以看到内核对进程做对操作。
4.总结
对以上异常出现排查的排查顺序一般是:Java应用程序的问题
-> JVM自身故障
-> 被操作系统OOM-Killer
。