1、问题现象:
系统持续运行2-3天,中间件出现宕机
系统运行期间只要访问weblogic控制台,操作几次后中间件宕机
2、报错日志:
22.png
3、分析:
通过报错日志分析,为内存溢出,且为非堆内存溢出,这种情况一般需要调整:PermSize的大小。
4、解决过程:
调整weblogic配置参数:setDomainEnv.sh 设置setDomainEnv.sh 为512。
调整后重启系统,发现问题依旧,并没有解决宕机问题。
确认修改参数是否生效:生成javacore来分析(kill -3 进程ID)截图如下:
11.png
我们发现参数并没有生效。继续分析参数为什么没有生效。
Weblogic中的 commEnv.sh ,发现JAVA_VENDOR为 N/A
33.png
而setDomainEnv.sh 中PermSize 的设置为:
44.png
此处的参数并没有 设置我们需要的Open JDK的 JAVA_VENDOR的N/A 的赋值,所以非堆内存的设置并未生效。
注意:正常 open jdk 的JAVA_VENDOR 为Oracle的,但是配置文件却为:N/A,可能是weblogic的兼容性问题,或者人为改动导致,找到原因了,这个问题就没有细究。
5、解决方案:
修改commEnv.sh , JAVA_VENDOR为 Oracle、HP、IBM、Apple中的任何一个
在startWeblogic中,单独定义:MEM_ARGS="-Xms2048m -Xmx2048m -XX:PermSize=1024m"
6、验证方案:
采取第二种方案:
1)在原始默认环境,进行12个小时的循环操作,并持续访问weblogic控制台。
2)在修改后的环境,持续访问weblogic控制台,生成javacore文件看参数是否生效。并进行50人高强度的并发测试20个小时,看是否会重现宕机问题。
在方案的第一步,系统运行2小时,访问控制台,中间件宕机,系统无法访问。
在方案的第二步,系统在50人高强度的并发测试20小时的情况下,响应正常。频繁访问控制台并未发现任何异常。通过生成javacore 发现非堆内存正常生效。
55.png