昨天晚上在startWeblogic.sh中加入了jmeter的相关配置,今天发现系统还是慢了不少,不过整个上午还是挺过去了,下午刚一上班,1:35分,停了,java进程直接退出了,生成了hs_err_pid672.log(附件)
比较今天的情况和昨天很是相似,上午没有问题,下午上班后不久系统挂掉,然后在短时间内连续挂掉2次,今天第一次宕机时只有刚刚进行2次old full gc,后面2次就没有old full。
hpjmeter给出的信息看不到宕机时cpu在干什么(或许我不会看),一条路堵死了,失望。
分析hs_err_pid672.log,不是很明白,模模糊糊的感觉好像是说并行gc的问题,修改一个startWeblogic_gc.sh,去掉并行gc,加入-Xmn=900m,固定new的大小再试试。
找出access.log,10分钟就有5M,真玄了,整理一下,去掉gif、swf、js、css,然后把数据整理成列,导入数据库中(为了查询方便),今天没有时间继续弄了,明天希望能排查出宕机前2分钟有执行,而在正常情况下没有执行的页面。
把后台的action,按照3次宕机前10分钟的交集取出,把整个系统的action反编译出来,计划下一步逐个代码排查。
数据库出现了一个怪异的情况,昨天晚上新建的temp表空间分配给了业务用户,今天一天居然只有207M大小,也就是昨天测试完了后就没有增长? 这么大的业务量按说不应该只用207M的临时表空间啊?难道又跑回系统默认表空间temp里面去了?
什么代码会让java进程占满cpu?死循环? 还是线程锁?神啊,救救我吧!
一个多月的折磨,心情很差,今天冲领导发了火,也扣了领导电话,接下来...接下来只能是尽人事、听天命了。
比较今天的情况和昨天很是相似,上午没有问题,下午上班后不久系统挂掉,然后在短时间内连续挂掉2次,今天第一次宕机时只有刚刚进行2次old full gc,后面2次就没有old full。
hpjmeter给出的信息看不到宕机时cpu在干什么(或许我不会看),一条路堵死了,失望。
分析hs_err_pid672.log,不是很明白,模模糊糊的感觉好像是说并行gc的问题,修改一个startWeblogic_gc.sh,去掉并行gc,加入-Xmn=900m,固定new的大小再试试。
找出access.log,10分钟就有5M,真玄了,整理一下,去掉gif、swf、js、css,然后把数据整理成列,导入数据库中(为了查询方便),今天没有时间继续弄了,明天希望能排查出宕机前2分钟有执行,而在正常情况下没有执行的页面。
把后台的action,按照3次宕机前10分钟的交集取出,把整个系统的action反编译出来,计划下一步逐个代码排查。
数据库出现了一个怪异的情况,昨天晚上新建的temp表空间分配给了业务用户,今天一天居然只有207M大小,也就是昨天测试完了后就没有增长? 这么大的业务量按说不应该只用207M的临时表空间啊?难道又跑回系统默认表空间temp里面去了?
什么代码会让java进程占满cpu?死循环? 还是线程锁?神啊,救救我吧!
一个多月的折磨,心情很差,今天冲领导发了火,也扣了领导电话,接下来...接下来只能是尽人事、听天命了。