因机房搬迁,客户的二台曙光服务器,外接EMC CX4-240存储,用作Oracle RAC服务器,也需要搬迁。
硬件搬迁工作比较顺利,拆机-下架-搬迁-上架工作很快完成。
通电,开机,EMC CX4-240存储顺利启动。
通电,开机,1#服务器也顺利启动了,识别到EMC存储,Oracle服务也正常启动。
一切都是那么顺利,只等2#服务器开机,就可结束本次搬迁工作了,……,不想问题开始了……。
通电,开机,2#服务器电源指示灯正常,硬盘灯正常,显示器没有反应。KVM有问题?
跳过KVM,服务器直连显示器,还是没反应。服务器有问题?
关闭电源重新打开,问题依旧。
关闭电源,下架,打开机箱,黑灰好多呀。清理灰尘。
重新上架,通电,开机,2#服务器也顺利启动了,识别到EMC存储,Oracle服务也正常启动了。
登录到二台服务器,再次确认Oracle数据库有状态,问题又来了,2#服务器的数据库正常,1#服务器的数据库却宕了,EMC存储也识别不到了。原因是之后插拔过连接存储的光纤,不过二条链路是分开插拔的呀,按理是不会出现问题的?!
重启系统,问题依旧。
存储、光纤交换机配置问题?连线是按原样连接的,不会有问题的。
配置没保存,断电重启之后配置丢失了?也不可能,第一次开机后连接到EMC存储了。
所有检查都查过了,所能想到的问题也一一排除了,可问题依然没有解决。
时间不早了,反正是Oracle RAC的系统,系统压力也不是很大,改个数据库连接的配置,就让一个节点先顶着,第二天再找原因吧。
一个问题放下了,新的问题却来了,有些应用的数据库连接的配置,是直接写在应用程序里的,改配置那得改应用程序。
HBA卡出问题了?再作最后一次努力吧。交换二台服务器的HBA卡,如果问题出现在2#服务器上,那就找到原因了,让客户重新买块HBA卡换上就OK了。
关闭系统,打开机箱,交换服务器的HBA卡。
1#服务器开机启动系统,OK。
2#服务器开机启动系统,问题没有出现,OK了。
系统正常了,可以安心睡觉了。
心得:
正常运行的生产系统,尽量不要关机重启,特别是运行了多年的系统,一关机有可能就启不来了。多一事不如少一事。
二是客户服务器上HBA卡的配置,是一块双端口的HBA卡,虽有二个端口可以连接SAN交换机,实现双链路冗余,但HBA却是系统的一个单点故障点,HBA卡出现问题,会造成两条链路同时断开。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/81227/viewspace-761815/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/81227/viewspace-761815/