SUSPEND导致RAC环境的ORA-29702错误（二）

在测试RAC环境的SUSPEND命令时，出现了这个错误。

这一篇继续这个问题，找到导致问题的原因。

SUSPEND导致RAC环境的ORA-29702错误（一）：http://yangtingkun.itpub.net/post/468/483337

 

 

简单描述一下碰到的问题。测试SUSPEND对于RAC环境的影响时，选择了3节点的RAC环境，保持两个实例打开一个实例关闭的状态，在一个实例上执行SUSPEND命令，这里会发现启动的两个实例都处于SUSPEND状态，随后启动另一个实例，发现这个实例在MOUNT节点会被挂起，不过这个实例的状态是正常的。

随后奇怪的事情发生了，当在任一个实例上执行RESUME命令后，Oracle会自动SHUTDOWN ABORT，并RESTART开始处于启动状态的两个实例中的一个实例，在这个实例对应的alert文件中，可以看到ORA-29702错误。

这个现象描述清楚了，不过不能确定的是，到底是SUSPEND操作对RAC环境的影响，还是由于在SUSPEND状态中，尝试启动了新的实例，导致了这个问题的产生，下面就来测试这个问题。

在节点1上执行下面的操作：

SQL> conn / as sysdba
已连接。
SQL> select instance_name, status, database_status from gv$instance;

INSTANCE_NAME    STATUS       DATABASE_STATUS
---------------- ------------ -----------------
testrac1         OPEN         ACTIVE
testrac3         OPEN         ACTIVE
testrac2         OPEN         ACTIVE

SQL>
SQL> alter session set nls_date_format = 'yyyy-mm-dd hh24:mi:ss';

会话已更改。

SQL> select instance_name, status, database_status, startup_time from gv$instance;

INSTANCE_NAME    STATUS       DATABASE_STATUS   STARTUP_TIME
---------------- ------------ ----------------- -------------------
testrac1         OPEN         ACTIVE            2009-02-21 18:37:30
testrac3         OPEN         ACTIVE            2009-04-23 10:42:55
testrac2         OPEN         ACTIVE            2009-02-21 01:17:58

SQL> alter system suspend;

系统已更改。

SQL> select instance_name, status, database_status, startup_time from gv$instance;

INSTANCE_NAME    STATUS       DATABASE_STATUS   STARTUP_TIME
---------------- ------------ ----------------- -------------------
testrac1         OPEN         SUSPENDED         2009-02-21 18:37:30
testrac3         OPEN         SUSPENDED         2009-04-23 10:42:55
testrac2         OPEN         SUSPENDED         2009-02-21 01:17:58

可以看到3个节点都处于启动状态，随后执行的SUSPEND命令使得3个节点都会进行到SUSPEND状态。随后在其他节点上执行RESUME命令：

SQL> alter system resume;

系统已更改。

回到实例1检查各个实例是否发生过重启的现象：

SQL> select instance_name, status, database_status, startup_time from gv$instance;

INSTANCE_NAME    STATUS       DATABASE_STATUS   STARTUP_TIME
---------------- ------------ ----------------- -------------------
testrac1         OPEN         ACTIVE            2009-02-21 18:37:30
testrac3         OPEN         ACTIVE            2009-04-23 10:42:55
testrac2         OPEN         ACTIVE            2009-02-21 01:17:58

显然，没有SHUTDOWN ABORT，没有重启，也没有ORA-29702错误。所有的实例状态都变为正常的ACTIVE。看来对于RAC环境设置SUSPEND是没有问题的，关键还在于在SUSPEND状态下尝试启动新的实例。

下面来验证一下：

bash-2.03$ srvctl stop inst -d testrac -i "testrac2,testrac3"
bash-2.03$ srvctl status db -d testrac
Instance testrac1 is running on node racnode1
Instance testrac2 is not running on node racnode2
Instance testrac3 is not running on node racnode3
bash-2.03$ sqlplus "/ as sysdba"

SQL*Plus: Release 10.2.0.3.0 - Production on 星期六 2月 21 23:04:48 2009

Copyright (c) 1982, 2006, Oracle.  All Rights Reserved.

连接到:
Oracle Database 10g Enterprise Edition Release 10.2.0.3.0 - 64bit Production
With the Partitioning, Real Application Clusters, OLAP and Data Mining options

SQL> alter session set nls_date_format = 'yyyy-mm-dd hh24:mi:ss';

会话已更改。

SQL> select instance_name, status, startup_time from v$instance;

INSTANCE_NAME    STATUS       STARTUP_TIME
---------------- ------------ -------------------
testrac1         OPEN         2009-02-21 18:37:30

SQL> select instance_name, status, database_status from gv$instance;

INSTANCE_NAME    STATUS       DATABASE_STATUS
---------------- ------------ -----------------
testrac1         OPEN         ACTIVE

SQL> alter system suspend;

系统已更改。

将实例2和实例3全部关闭，然后将当前实例置于SUSPEND状态，下面启动实例2和实例3：

bash-2.03$ sqlplus "/ as sysdba"

SQL*Plus: Release 10.2.0.3.0 - Production on 星期六 2月 21 23:06:44 2009

Copyright (c) 1982, 2006, Oracle.  All Rights Reserved.

已连接到空闲例程。

SQL> startup
ORACLE 例程已经启动。

Total System Global Area 2147483648 bytes
Fixed Size                  2031480 bytes
Variable Size             436207752 bytes
Database Buffers         1694498816 bytes
Redo Buffers               14745600 bytes

实例2运行到MOUNT节点被阻塞，而实例3也一样：

bash-3.00$ sqlplus "/ as sysdba"

SQL*Plus: Release 10.2.0.3.0 - Production on 星期四 4月 23 15:15:57 2009

Copyright (c) 1982, 2006, Oracle.  All Rights Reserved.

已连接到空闲例程。

SQL> startup
ORACLE 例程已经启动。

Total System Global Area 2147483648 bytes
Fixed Size                  2031480 bytes
Variable Size             352321672 bytes
Database Buffers         1778384896 bytes
Redo Buffers               14745600 bytes

下面在实例1执行RESUME命令：

SQL> alter system resume;

系统已更改。

SQL> select instance_name, status, database_status from gv$instance;

但是随后查询全体实例的语句出现了等待，这时实例2和实例3的启动完成：

数据库装载完毕。
数据库已经打开。
SQL> select instance_name, status, database_status from gv$instance;

INSTANCE_NAME    STATUS       DATABASE_STATUS
---------------- ------------ -----------------
testrac2         OPEN         ACTIVE
testrac3         OPEN         ACTIVE

由于实例2和实例3的结果完全一样，这里只贴出一个。实例2打开后，执行查询GV$INSTANCE的操作也出现了等待，大于半分钟左右，就会出现上面的最终结果，不过这个结果中看不到实例1的信息。

与此同时实例1等待的查询也有了结果，和实例2不同的是，查询报错了：

select instance_name, status, database_status from gv$instance
*
第 1 行出现错误:
ORA-03113: 通信通道的文件结束

SQL> conn / as sysdba
已连接。
SQL> alter session set nls_date_format = 'yyyy-mm-dd hh24:mi:ss';

会话已更改。

SQL> select instance_name, status, startup_time from v$instance;

INSTANCE_NAME    STATUS       STARTUP_TIME
---------------- ------------ -------------------
testrac1         OPEN         2009-02-21 23:09:49

SQL> select instance_name, status, database_status from gv$instance;

INSTANCE_NAME    STATUS       DATABASE_STATUS
---------------- ------------ -----------------
testrac1         OPEN         ACTIVE
testrac3         OPEN         ACTIVE
testrac2         OPEN         ACTIVE

重新连接后，发现实例1出现了重启。现在可以确定，就是由于在SUSPEND状态下，尝试启动新的实例，导致RAC运行的实例无法确定一致性，从而使得实例发生了重启。

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/4227/viewspace-591871/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/4227/viewspace-591871/