处理resin连接池满故障

项目架构: squid + apache + resin + ibatis + oracle

项目已经上线3年多,最近半年总是报连接池满故障, resin连接池数居高不下,大都是空闲连接到数据库端, 最近更新代码很少, 而日志里又看不出是那里的故障源?

现在已经解决了, 为了增加点印象, 故做了处理故障过程整理:

1. 这个系统里有评分,收藏, 评论,用户中心等我们称这些系统是通过功能, 为了说的明了, 故障系统这里别名 A 通用功能别名 B. A系统中和B之间通信都是靠socket通信, 嫌疑也最大, 在B所在的linux 排查端口是否开启, 结果正常.

2. dba排查sql是否有等待超时sql, 排查正常

3. resin连接池参数修改, 增加连接数, 调小空闲等待时间, 无效.

4. jstack linux jvm 快照, 打印记录无法定位问题

5. 增加ibatis 内存级别cache, 效果不明显, 故障依旧.

6. 用jdbc连接数据库查看创建时间很长,升级ibatis2 到ibatis2.3.4 连接池 满现象消失.

7. 但是前台还是很慢, ping 数据库服务器ip, 发现有丢包, 将现象提交到运维, 检查是东莞机房网管问题, 修复后, 故障消失,速度很快