ORA-00600 arguments: [13310]

相关环境：
Windows server 2003 enterprise x64
oracle RAC 10.2.0.4.0 - 64bit（primary）
oracle 10.2.0.4.0 - 64bit（ standby）

最近由于项目需要，将standby数据库切换为read write状态（创建一个flashback restore point），用于验证当灾难发生后， 数据库能支持业务应用系统正常运行。
测试结束后，再将standby恢复到正常physical standby状态，约半小时后RAC的一号节点hang。
此时crs_stat -t查看，只有inst1状态为UNKNOWN，其它都处于正常状态。

alert信息如下：
Wed Oct 21 16:58:19 2009
Errors in file d:/oracle/product/10.2.0/admin/xxx/bdump/xxx1_j000_2740.trc:
ORA-04030: out of process memory when trying to allocate 753136 bytes (pga heap,kco buffer)
ORA-00600: internal error code, arguments: [13310], [], [], [], [], [], [], []

 

首先被怀疑就是切换standby导致primary hang，但经查看xxx1_j000_2740.trc，问题原因却是与EM有关。查看em状态（emctl status dbconsole）已经不正常。

xxx1_j000_2740.trc:
*** 2009-10-21 16:58:18.609
ksedmp: internal or fatal error
ORA-00600: internal error code, arguments: [13310], [], [], [], [], [], [], []
Current SQL statement for this session:
SELECT SYS_GUID() FROM SYS.DUAL
----- PL/SQL Call Stack -----
  object      line  object
  handle    number  name
000007FFFA363400       545  package body SYS.STANDARD
000007FFFA10B648       930  package body SYSMAN.EM_PING
000007FFFA1E2878       932  package body SYSMAN.EMD_MAINTENANCE
000007FFFA1E39D8         1  anonymous block

 

经metalink，定位上述问题为Bug No. 6630651

很悲惨！！此BUG现在没有patch，只能重启了。首先关闭crs（crsctl stop crs），但不能正常关闭，只有重启节点一的OS。启动完成后，crs自动启动，节点一状态一切正常。为了不再触发此BUG，只能关闭EM了。

from:http://space.itpub.net/17997/viewspace-617471