oracle asm磁盘标签丢失导致整个集群和数据库启动失败

oracle asm磁盘标签丢失导致整个集群和数据库启动失败

 

应用环境描述

一、硬件

1、 服务器：2台dell r610—16G内存、2颗6核xeon cpu、2个146G sas盘，做了raid1

2、 存储：dell MD3220 24个300G硬盘

3、 存储连接：6GB HBA卡，2个通道都连线了

二、软件

1、 系统：64位centos 5.5

2、 系统内核版本：Linux rac1 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:14 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

3、 asm软件:oracleasm-2.6.18-194.el5-2.0.5-1.el5.x86_64.rpm、oracleasm-support-2.1.7-1.el5.x86_64.rpm、oracleasmlib-2.0.4-1.el5.x86_64.rpm

4、 数据库软件：linux.x64_11gR2_database_1of2.zip、linux.x64_11gR2_database_2of2.zip

5、 集群软件：linux.x64_11gR2_grid.zip

 

故障描述

一、故障前的情况：

1、 集群实例正常运行

2、 asm能用asmcmd查看目录和文件

3、 数据库实例正常

4、 监听器正常

5、 客户端远程连接正常

6、 多路径访问正常

7、 /dev/oracleasm/disks目录的下的文件全部存在

二、故障的起因：

1、 打算模拟服务器失效

2、 直接重启两个服务器 init 6

三、故障现象：

1、 两个服务器的asm实例都没有启动成功

2、 两个服务器的oracle实例都没有启动成功

3、 Crs等进程启动几个，但基本上不能正常工作

4、 手动启动crs，失败

5、 以grid用户手动连接实例，强制启动，失败

 

故障基本原因判断

数据库数据文件、集群软件所需的ocr文件都存储在asm设定的共享存储中，由于集群软件（包括asm实例）启动失败而最终也导致数据库实例启动失败。

 

处理过程

一、定位故障点：

1、查看系统进程，发现ASM进程没有起来。但有少许grid相关的进程，如下图所示：

2、手动执行 /u01/app/grid/bin/crsctl start crs 失败

3、查看设备文件目录 /dev/mapper,发现共享存储的分区全部存在

[root@rac2 ~]# ll /dev/mapper/ total 0 crw------- 1 root root 10, 63 Jul 24 00:00 control brw-rw---- 1 root disk 253, 0 Jul 24 00:01 mpath13 brw-rw---- 1 root disk 253, 10 Jul 24 00:01 mpath13p1 brw-rw---- 1 root disk 253, 11 Jul 24 00:01 mpath13p2 brw-rw---- 1 root disk 253, 12 Jul 24 00:01 mpath13p3 brw-rw---- 1 root disk 253, 13 Jul 24 00:01 mpath13p5 brw-rw---- 1 root disk 253, 14 Jul 24 00:01 mpath13p6 brw-rw---- 1 root disk 253, 15 Jul 24 00:01 mpath13p7 brw-rw----