Oracle 连接有时候慢,应用稍微一忙,偶尔出现连接失败 的故障解决过程

...[@more@]环境:
IBM AIX5.3ML04(IBM P595)+HACPM5.2+Oracle10.2.0.2 RAC(2节点)+IBM 8100 存储

故障描述:
- Oracle 系统连接很慢,有时候甚至应用连接失败

分析过程:
- 查看数据库alert.log ,无发现任何错误信息
- 查看其他所有的日志,都未发现任何异常
- 检查所有的Oracle db 和CRS 进程都正常
- 检查系统等待gc cr multi block request 很多
- 检查HACMP的心跳线,测试速度都正常
- VIP/私有IP的相互通信都正常
- 检查CRS的日志没异常
- METALINK发了TAR ,分析了半天也没什么结果
- 检查CRS和VOTING 所在的几个lv的IO 读写速度,发现有时候速度有点慢,CRS/VOTING没什么大的读写.
所以表面看读写还算正常,没引起特别的重视
- 检查其他Oracle datafile 所在的lv 的IO 速度,速度很正常
- 把IBM 工程师叫过来,一起检查操作系统和存储的问题.
- 咨询所有和系统有关的人:最近没对操作系统和存储做过任何的调整,并且这个系统这样正常跑了半年多了
- IBM 工程师检查了操作系统和存储没发现任何的异常的日志
- 数据库方面无可能出现的问题,唯一的就是CRS/VOTING所在的LV有点慢,但有时候特别正常.
- CRS/VOTING 所在的lv和其他datafile 都在IBM 8100存储上同一个LUN上,理论上要出问题,应该是整体出问题,所以,很奇怪
- IBM 8100 上没任何DISK的报警

解决过程:
- 判定可能是CRS/VOTING所在的LV 的IO出现问题
- 正常停掉ORACLE DB和CRS等进程
- 备份CRS/VOTING 等所在的VG,
- 在IBM 8100 上把CRS/VOTING所在的VG的对应的LUN中的所有DISK全踢掉,换成新的一组盘.
- 重新导入VG
- 重新修改CRS/VOTING以及其他DATAFILE的文件属性.
- 启动系统后正常
- 经过正常应用使用后,系统一切正常

总结:
- 再高端的存储,也会出现很异常的问题
- DBA 不能光注重ORACLE 的问题,还要注重周边设备的问题
- DBA 要有判断周边设备可能出现问题的能力,让操作系统或者存储的工程师知道是他们负责的地方出了问题

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/7318139/viewspace-1010694/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/7318139/viewspace-1010694/