oracle11g集群挂起

一、、故障现象：

集群夯死。

二、排查：

1、应用发现数据库无法链接；

2、排查数据库发现主机无法登录；

3、尝试ping，telnet均不通；

4、请运行人员将网线恢复；

5、登录主机仍然无法启动集群；

6、查看集群报错，提示缺失voting disk

7、排查磁盘，疑似发现缺少磁盘，

ls -ltr|grep dm

multipath -ll 无法展示磁盘内容，且报错；

根据 /etc/udev/rules.d/99-oracle.rule排查确认少盘。

8、通知运行人员核查光纤口，发现光纤口虚接，随机接通；

9、强制关闭集群，开启集群恢复。

crsctl stat res -t ---检查确认

crsctl stop crs -f

crsctl start crs

三、原因分析

拔出了该套集群上所有网线，操作过程中误操作将hba卡上的光纤也搞松动了（后来排查发下）