Voting Disk恢复（Windows）

一、故障描述

客户数据库无法启动，单节点启动时，报在共享存储中找不到参数文件。于是让客户那边检查了存储，看看是否正常；客户确定存储正常，再确定集群是否能正常启动，发现集群CSS日志中报没有找到voting disk文件，并且存在与共享存储通信问题，集群无法启动。再找客户确认存储是否存在问题，发现存储确实有一条链路有问题，客户解决存储问题后，CSS日志还是在启动集群过程中报找不到表决盘文件。这就说明要么是OCRVOL盘下的表决文件没有了，要么就是表决文件已经损坏。下面是对表决盘（Voting Disk）文件的恢复操作。

二、解决过程

1.在所有节点上取消配置$ OLD_HOME
在除安装节点之外的所有节点上:

c:\> $GRID_HOME\perl\bin\perl $GRID_HOME\crs\install\rootcrs.pl -deconfig -force

在安装节点上:

c:\> $GRID_HOME\perl\bin\perl $GRID_HOME\crs\install\rootcrs.pl -deconfig -force -lastnode

2.删除取消配置后留下的Windows Grid Infrastructure服务，这些服务通常包括以下内容：侦听器服务，SCAN侦听器服务，ASM服务。必须在所有节点上执行以下操作
注意：此处使用的命名约定在您的系统上可能会有所不同，请在Windows“服务”控制面板中查看名称以获得正确的名称

c:\> sc delete OracleASMService+ASM1
c:\> sc delete OracleOraCrs11g_home1TNSListenerLISTENER_SCAN1
c:\> sc delete OraCrs11g_Home1_TNSListenerLISTENER_SCAN2
c:\> sc delete OraCrs11g_Home1_TNSListenerLISTENER_SCAN3

注意：请勿删除从数据库主页运行的任何服务。

3.完全清理组成OCR/Voting的磁盘组磁盘,这仅在节点1上执行
使用asmtool来确定要清理的正确磁盘:

c:\> $OLD_HOME\bin\asmtool -list --此处记录你的VOTE盘名称和对应分区
.....
ORCLDISKOCRVD0 \Device\Harddisk1\Partition1 1023M
.....

使用Windows Diskpart实用工具清理磁盘并重新创建分区表:

c:\> diskpart
Microsoft DiskPart version 6.0.6002
Copyright (C) 1999-2007 Microsoft Corporation.
On computer: RACNODE01

DISKPART> list disk

Disk ### Status      Size    Free   Dyn Gpt
-------- ---------- ------- ------- --- ---
Disk 0   Online       35 GB       0 B
Disk 1   Online     1023 MB       0 B
....

DISKPART> select disk 1

Disk 1 is now the selected disk.

DISKPART> clean all
DISKPART> create part ext
DISKPART> create part log

或使用磁盘管理器重建磁盘。

4.从节点1上的OLD Home中，使用asmtool使用初始安装中指定的SAME名称重新设置OCR/Vote磁盘。要确定适当的名称，在$OLD_HOME\crs\install\ crsconfig_params文件中搜索"ASM_DISKS ="。
注意：如果使用GUI asmtoolg，则磁盘名称将带有ORCLDISK前缀，并带有数字后缀，因此，名称为ORCLDISKOCRVD0的磁盘应在asmtoolg中标记为OCRVD。

c:\> $OLD_HOME\bin\asmtool -add \Device\Harddisk1\Partition1 ORCLDISKOCRVD0

5.从$OLD_HOME（在“安装”节点上）执行runConfig.bat脚本，以重新配置OLD GI Home。如果没有错过上述步骤之一，则应以状态0退出，并且应重新执行以上步骤。请注意，如果此命令以状态0快速返回（过快），则应添加参数RERUN = true

c:\> $GRID_HOME\oui\bin\runConfig.bat ORACLE_HOME=$GRID_HOME MODE=perform ACTION=configure

6.从用于降级的预升级系统中标识OCR备份。通常最好使用最新备份（查看时间戳记），该备份将位于$OLD_HOME\cdata<cluster_name>下的任一群集节点上。一旦确定了所需的备份，就将该备份复制到群集的节点1

7.关闭所有节点上的GI堆栈

c:\> $grid_HOME\bin\crsctl stop crs

8.在节点1上，以独占模式启动GI堆栈以执行OCR还原
如果$OLD_HOME为11.2.0.2或更高版本，请执行以下操作

c:\> crsctl query css votedisk
c:\> ocrconfig -showbackup
c:\> $GRID_HOME\bin\crsctl start crs -excl -nocrs

9.以 sqlplus / as sysasm 登录asm，重建原ocr和votedisk所在diskgroup,注意compatible.asm必须是11.2 。
注意：DISKGROUP 名为旧ORC,VOTING DISK磁盘组名。

--外部冗余
SQL> CREATE DISKGROUP griddg external REDUNDANCY DISK 'ORCL:vol1','ORCL:vol2' ATTRIBUTE 'compatible.asm'='11.2.0.0.0';

--高冗余
SQL> create diskgroup systemdg high redundancy disk 'ORCL:vol1' ATTRIBUTE 'compatible.rdbms' = '11.2', 'compatible.asm' = '11.2';

10.在节点1上，从所需的升级前OCR备份中还原OCR，并做ocrcheck检验

c:\> $GRID_HOME\bin\ocrconfig -restore <full path to backup file>
c:\> ocrcheck

可能会遇到：

c:\> crsctl replace votedisk  E:\backup00.ocr
CRS-4602: Failed 27 to add voting file 2e4e0fe285924f86bf5473d00dcc0388.
CRS-4602: Failed 27 to add voting file 4fa54bb0cc5c4fafbf1a9be5479bf389.
CRS-4602: Failed 27 to add voting file a109ead9ea4e4f28bfe233188623616a.
CRS-4602: Failed 27 to add voting file 042c9fbd71b54f5abfcd3ab3408f3cf3.
CRS-4602: Failed 27 to add voting file 7b5a8cd24f954fafbf835ad78615763f.
Failed to replace voting disk group with +OCRVOL.
CRS-4000: Command Replace failed, or completed with errors.

需要重新配置一下ASM的参数，并重启ASM:

SQL> alter system set asm_diskstring='OCRVOL:*' scope=spfile;
SQL> create spfile from memory;
SQL>  startup force mount;
ORA-32004: obsolete or deprecated parameter(s) specified for ASM instance
ASM instance started
SQL> show parameter spfile
NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
spfile                               string      +OCRVOL/spfile+ASM1.ora

c:\> $GRID_HOME\bin\crsctl stop crs -f

11.重新启动OLD GI堆栈

c:\> $GRID_HOME\bin\crsctl start crs

12.检查CRS运行正常

c:\> crsctl status resource -t
c:\> crsctl stat res -t -init
c:\> crsctl check cluster -all
c:\> crsctl stat res -t