一、、故障现象:
集群夯死。
二、排查:
1、应用发现数据库无法链接;
2、排查数据库发现主机无法登录;
3、尝试ping,telnet均不通;
4、请运行人员将网线恢复;
5、登录主机仍然无法启动集群;
6、查看集群报错,提示缺失voting disk
7、排查磁盘,疑似发现缺少磁盘,
ls -ltr|grep dm
multipath -ll 无法展示磁盘内容,且报错;
根据 /etc/udev/rules.d/99-oracle.rule排查确认少盘。
8、通知运行人员核查光纤口,发现光纤口虚接,随机接通;
9、强制关闭集群,开启集群恢复。
crsctl stat res -t ---检查确认
crsctl stop crs -f
crsctl start crs
三、原因分析
拔出了该套集群上所有网线,操作过程中误操作将hba卡上的光纤也搞松动了(后来排查发下)