VCS引起的oracle数据库异常重启一例

1. 环境描述

操作系统版本：SUSE Linux Enterprise Server 10 sp2 (x86_64)

数据库版本：Oracle 11.1.0.7.16

VCS版本：5.1

blog地址：http://blog.csdn.net/hw_libo/article/details/41171561

2. 问题现象及分析

凌晨3:46左右，手机短信收到数据库异常告警。

（1）查看数据库alert日志

[html]  view plain  copy

 print ?

1. Sun Nov 16 03:46:51 2014  
2. Stopping background process SMCO  
3. Stopping background process FBDA  
4. Shutting down instance: further logons disabled  
5. Sun Nov 16 03:46:54 2014  
6. kkjcre1p: unable to spawn jobq slave process, slot 0, error 1089  
7. Stopping background process CJQ0  
8. Stopping background process QMNC  
9. Stopping background process MMNL  
10. Stopping background process MMON  
11. Sun Nov 16 03:47:03 2014  
12. Shutting down instance (immediate)  
13. License high water mark = 366  
14. Sun Nov 16 03:51:52 2014  
15. License high water mark = 366  
16. USER (ospid: 8654): terminating the instance  
17. Sun Nov 16 03:51:52 2014  
18. ORA-1092 : opiodr aborting process unknown ospid (28656_47367034883680)  
19. Sun Nov 16 03:51:52 2014  
20. LGWR waiting for instance termination  

并未发现较为明显的异常原因。

同时也查看了那个时间段的报告，发现数据库压力不大，也没有什么异常的SQL存在。

（2）检查OS资源使用

系统资源使用正常，IO也不高。

（3）查看messages日志

[html]  view plain  copy

 print ?

1. Nov 16 03:42:46 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13027 Thread(4149214112) Resource(ora_vg) - monitor procedure did not complete within the expected time.  
2. Nov 16 03:42:46 boscodb Had[10258]: VCS ERROR V-16-2-13027 (boscodb) Resource(ora_vg) - monitor procedure did not complete within the expected time.  
3. Nov 16 03:43:01 boscodb su: (to root) root on none  
4. ……  
5. Nov 16 03:45:39 boscodb su: (to oracle) root on none  
6. Nov 16 03:45:47 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13210 Thread(4154813344) Agent is calling clean for resource(ora_vg) because 4 successive invocations of the monitor procedure did not complete within the expected time.  
7. Nov 16 03:45:47 boscodb Had[10258]: VCS ERROR V-16-2-13210 (boscodb) Agent is calling clean for resource(ora_vg) because 4 successive invocations of the monitor procedure did not complete within the expected time.  
8. ……  
9. Nov 16 03:46:48 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13006 Thread(4153760672) Resource(ora_vg): clean procedure did not complete within the expected time.  
10. Nov 16 03:46:48 boscodb Had[10258]: VCS ERROR V-16-2-13006 (boscodb) Resource(ora_vg): clean procedure did not complete within the expected time.  
11. Nov 16 03:46:49 boscodb AgentFramework[10899]: VCS ERROR V-16-2-13067 Thread(4155194272) Agent is calling clean for resource(ora_archive) because the resource became OFFLINE unexpectedly, on its own.  
12. Nov 16 03:46:50 boscodb Had[10258]: VCS ERROR V-16-2-13067 (boscodb) Agent is calling clean for resource(ora_archive) because the resource became OFFLINE unexpectedly, on its own.  
13. Nov 16 03:46:51 boscodb AgentFramework[10899]: VCS ERROR V-16-2-13068 Thread(4155194272) Resource(ora_archive) - clean completed successfully.  

原来是VCS出现了错误，监控vg超时了，这些错误信息在VCS的日志中也有记录。

3. 解决办法

检查了监控vg的moniter脚本，发现也没有异常，而且脚本在其他库，压力都比较大的都不曾出问题。

当前的配置为：

[html]  view plain  copy

 print ?

1. Application ora_vg (  
2.         StartProgram = "/opt/BOSCO_ora/bin/vg_start.sh"  
3.         StopProgram = "/opt/BOSCO_ora/bin/vg_stop.sh"  
4.         CleanProgram = "/opt/BOSCO_ora/bin/vg_clean.sh"  
5.         MonitorProgram = "/opt/BOSCO_ora/bin/vg_monitor.sh"  
6.         MonitorInterval = 30  
7.         MonitorTimeout = 30  
8.         )  

决定暂时将监控时长加大到90s，可以使用两种方法：

（1）可以修改main.cf，但需要重启VCS，无操作时间窗口

（2）命令动态修改

haconf -makerw

hares -modify ora_vg MonitorTimeout 90   ## 调整监控时长为90s，默认是60s

haconf -dump

blog地址：http://blog.csdn.net/hw_libo/article/details/41171561

-- Bosco  QQ：375612082

---- END ----