Websphere故障处理报告

YY系统Websphere故障报告
一、 故障概况
（一） 故障系统

xx省YY系统各台Web服务器主机；

（二） 故障现象描述

11月10日接到现场PM电话，近期Web页面频繁出现down机情况，而且问题不集中在某台服务器，各个服务器都会有down掉的情况，每次发生后重启;

二、 影响范围

出现问题后会导致部分Web服务器的Web页面无法登陆;

三、 故障恢复
（一） 故障后系统恢复情况

1. 接到现场的问题反馈后，登陆各个主机进行查看，发现正常期间主机运行比较平稳，出现问题期间主机的性能也没有明显下降、网络畅通、存储写入信息速度正常、磁盘空间没有超过50%的挂接点，而且各台web服务器都出现问题，基本可以排除由于硬件问题导致；
2. 登陆系统查看日志，发现core文件的生成从11月4日开始，而且core文件集中在AppSrv02的实例中，应用程序的缴费、客户评价、渠道管理等部分功能放在此实例中，问题缩小在：缴费、客户评价、渠道管理等模块；
3. 11月12日xx省web服务器：21、24、25分别出现down机情况，但是仅仅有21上出现core文件，通过对core文件的分析，初步判定feemgt模块出现问题，和开发人员核对升级功能，客户信息查询部分增加了非重要功能，和现场沟通后可以回退，12日晚回退，但是13日web服务器23、24、26相继又出现down机的情况。问题还未具体定位和解决；
4. 13日down机后，调整Websphere，打开GC功能，同时和现场沟通，down掉后不要立刻重启，并通知开发中心DBA进行分析，14日21、25相继出现down机情况，登陆系统手工生成dump文件和core文件，并分析dump文件和core文件，发现：
Com/xxx/crm/feemgt/data/service/ServiceInfoVo
模块产生的arraylist达1233699之多，占用JVM内存90%以上，初步判定问题是由于该对象导致，和开发分析调用该对象的功能，最大的可能是交费管理页面的客户信息查询功能：包含按照客户名称模糊匹配的功能，要求现场和客户协商屏蔽此功能模块、开发考虑到功能问题把模糊匹配修改为准确查询16日晚进行功能升级；

5. 17日白天又发现down机情况，现场立即通知开发中心进行分析，分析后结果仍然为：
Com/xxx/crm/feemgt/data/service/ServiceInfoVo对象导致，怀疑数据存在问题，登陆xx省crm数据库按照客户名称查询资料，发现名为：”pps用户”、“PPS用户”，“大客户”等重名的用户资料，单行匹配最多可达60余万，判定应是查询此类用户导致页面无法处理出现down机，和开发协商后把查询的最大条数限制为10条，17日晚紧急升级；

6. 经过18日到25日的几天观察未再次发生web服务器down机情况，问题基本解决；

四、 故障原因
（一） 故障原因分析
     
问题由于联通的PPS用户没有区分客户名称，页面查询的时候，数据库返回大量数据，导致内存不够，从而出现的下图对象导致:
图片看不见了：就是Com/xxx/crm/feemgt/data/service/ServiceInfoVo占用内存和进程的多少
 
      

五、 后续工作及改进措施

1、 从上图来看问题一目了然，最终问题定位的时候发现是错误级别比较低，但是整个问题的分析过程跨度长达一周，一方面是因为走了很多弯路，另外一原因是排查的过程很复杂，中间件牵扯很多内容包括F5的排查、主机资源排查、网络连接性能排查、数据库sql性能排查、Websphere的bug排查，所以希望开发人员在程序设计和编写代码的时候多注意一些细节的问题；
2、 从这个故障处理吸取一些经验，页面down机的问题大部分情况WebSphere是个背黑锅的对象，问题很少会出现在Websphere本身的功能上，应该多从周边的应用开始分析；

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/598601/viewspace-620525/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/598601/viewspace-620525/