oracle有时慢连接不上,Oracle 连接有时候慢,应用稍微一忙,偶尔出现连接失败 的故障解决过程...

...[@more@]环境:

IBM AIX5.3ML04(IBM P595)+HACPM5.2+Oracle10.2.0.2 RAC(2节点)+IBM 8100 存储

故障描述:

- Oracle 系统连接很慢,有时候甚至应用连接失败

分析过程:

- 查看数据库alert.log ,无发现任何错误信息

- 查看其他所有的日志,都未发现任何异常

- 检查所有的Oracle db 和CRS 进程都正常

- 检查系统等待gc cr multi block request 很多

- 检查HACMP的心跳线,测试速度都正常

- VIP/私有IP的相互通信都正常

- 检查CRS的日志没异常

- METALINK发了TAR ,分析了半天也没什么结果

- 检查CRS和VOTING 所在的几个lv的IO 读写速度,发现有时候速度有点慢,CRS/VOTING没什么大的读写.

所以表面看读写还算正常,没引起特别的重视

- 检查其他Oracle datafile 所在的lv 的IO 速度,速度很正常

- 把IBM 工程师叫过来,一起检查操作系统和存储的问题.

- 咨询所有和系统有关的人:最近没对操作系统和存储做过任何的调整,并且这个系统这样正常跑了半年多了

- IBM 工程师检查了操作系统和存储没发现任何的异常的日志

- 数据库方面无可能出现的问题,唯一的就是CRS/VOTING所在的LV有点慢,但有时候特别正常.

- CRS/VOTING 所在的lv和其他datafile 都在IBM 8100存储上同一个LUN上,理论上要出问题,应该是整体出问题,所以,很奇怪

- IBM 8100 上没任何DISK的报警

解决过程:

- 判定可能是CRS/VOTING所在的LV 的IO出现问题

- 正常停掉ORACLE DB和CRS等进程

- 备份CRS/VOTING 等所在的VG,

- 在IBM 8100 上把CRS/VOTING所在的VG的对应的LUN中的所有DISK全踢掉,换成新的一组盘.

- 重新导入VG

- 重新修改CRS/VOTING以及其他DATAFILE的文件属性.

- 启动系统后正常

- 经过正常应用使用后,系统一切正常

总结:

- 再高端的存储,也会出现很异常的问题

- DBA 不能光注重ORACLE 的问题,还要注重周边设备的问题

- DBA 要有判断周边设备可能出现问题的能力,让操作系统或者存储的工程师知道是他们负责的地方出了问题

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/7318139/viewspace-1010694/，如需转载，请注明出处，否则将追究法律责任。