排查Java宕机,weblogic宕机问题排查

1、问题现象：

系统持续运行2-3天，中间件出现宕机

系统运行期间只要访问weblogic控制台，操作几次后中间件宕机

2、报错日志：

22.png

3、分析：

通过报错日志分析，为内存溢出，且为非堆内存溢出，这种情况一般需要调整：PermSize的大小。

4、解决过程：

调整weblogic配置参数：setDomainEnv.sh 设置setDomainEnv.sh 为512。

调整后重启系统，发现问题依旧，并没有解决宕机问题。

确认修改参数是否生效：生成javacore来分析(kill -3 进程ID)截图如下：

11.png

我们发现参数并没有生效。继续分析参数为什么没有生效。

Weblogic中的 commEnv.sh ,发现JAVA_VENDOR为 N/A

33.png

而setDomainEnv.sh 中PermSize 的设置为：

44.png

此处的参数并没有 设置我们需要的Open JDK的 JAVA_VENDOR的N/A 的赋值，所以非堆内存的设置并未生效。

注意：正常 open jdk 的JAVA_VENDOR 为Oracle的，但是配置文件却为：N/A,可能是weblogic的兼容性问题，或者人为改动导致，找到原因了，这个问题就没有细究。

5、解决方案：

修改commEnv.sh , JAVA_VENDOR为 Oracle、HP、IBM、Apple中的任何一个

在startWeblogic中，单独定义：MEM_ARGS="-Xms2048m -Xmx2048m -XX:PermSize=1024m"

6、验证方案：

采取第二种方案：

1)在原始默认环境，进行12个小时的循环操作，并持续访问weblogic控制台。

2)在修改后的环境，持续访问weblogic控制台，生成javacore文件看参数是否生效。并进行50人高强度的并发测试20个小时，看是否会重现宕机问题。

在方案的第一步，系统运行2小时，访问控制台，中间件宕机，系统无法访问。

在方案的第二步，系统在50人高强度的并发测试20小时的情况下，响应正常。频繁访问控制台并未发现任何异常。通过生成javacore 发现非堆内存正常生效。

55.png