关闭

VCS引起的oracle数据库异常重启一例

184人阅读 评论(0) 收藏 举报
分类:

1. 环境描述

操作系统版本:SUSE Linux Enterprise Server 10 sp2 (x86_64)

数据库版本:Oracle 11.1.0.7.16

VCS版本:5.1

blog地址:http://blog.csdn.net/hw_libo/article/details/41171561


2. 问题现象及分析

凌晨3:46左右,手机短信收到数据库异常告警。

(1)查看数据库alert日志

[html] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1. Sun Nov 16 03:46:51 2014  
  2. Stopping background process SMCO  
  3. Stopping background process FBDA  
  4. Shutting down instance: further logons disabled  
  5. Sun Nov 16 03:46:54 2014  
  6. kkjcre1p: unable to spawn jobq slave process, slot 0, error 1089  
  7. Stopping background process CJQ0  
  8. Stopping background process QMNC  
  9. Stopping background process MMNL  
  10. Stopping background process MMON  
  11. Sun Nov 16 03:47:03 2014  
  12. Shutting down instance (immediate)  
  13. License high water mark = 366  
  14. Sun Nov 16 03:51:52 2014  
  15. License high water mark = 366  
  16. USER (ospid: 8654): terminating the instance  
  17. Sun Nov 16 03:51:52 2014  
  18. ORA-1092 : opiodr aborting process unknown ospid (28656_47367034883680)  
  19. Sun Nov 16 03:51:52 2014  
  20. LGWR waiting for instance termination  

并未发现较为明显的异常原因。

同时也查看了那个时间段的报告,发现数据库压力不大,也没有什么异常的SQL存在。


(2)检查OS资源使用


系统资源使用正常,IO也不高。


(3)查看messages日志

[html] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1. Nov 16 03:42:46 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13027 Thread(4149214112) Resource(ora_vg) - monitor procedure did not complete within the expected time.  
  2. Nov 16 03:42:46 boscodb Had[10258]: VCS ERROR V-16-2-13027 (boscodb) Resource(ora_vg) - monitor procedure did not complete within the expected time.  
  3. Nov 16 03:43:01 boscodb su: (to root) root on none  
  4. ……  
  5. Nov 16 03:45:39 boscodb su: (to oracle) root on none  
  6. Nov 16 03:45:47 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13210 Thread(4154813344) Agent is calling clean for resource(ora_vg) because 4 successive invocations of the monitor procedure did not complete within the expected time.  
  7. Nov 16 03:45:47 boscodb Had[10258]: VCS ERROR V-16-2-13210 (boscodb) Agent is calling clean for resource(ora_vg) because 4 successive invocations of the monitor procedure did not complete within the expected time.  
  8. ……  
  9. Nov 16 03:46:48 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13006 Thread(4153760672) Resource(ora_vg): clean procedure did not complete within the expected time.  
  10. Nov 16 03:46:48 boscodb Had[10258]: VCS ERROR V-16-2-13006 (boscodb) Resource(ora_vg): clean procedure did not complete within the expected time.  
  11. Nov 16 03:46:49 boscodb AgentFramework[10899]: VCS ERROR V-16-2-13067 Thread(4155194272) Agent is calling clean for resource(ora_archive) because the resource became OFFLINE unexpectedly, on its own.  
  12. Nov 16 03:46:50 boscodb Had[10258]: VCS ERROR V-16-2-13067 (boscodb) Agent is calling clean for resource(ora_archive) because the resource became OFFLINE unexpectedly, on its own.  
  13. Nov 16 03:46:51 boscodb AgentFramework[10899]: VCS ERROR V-16-2-13068 Thread(4155194272) Resource(ora_archive) - clean completed successfully.  
原来是VCS出现了错误,监控vg超时了,这些错误信息在VCS的日志中也有记录。


3. 解决办法

检查了监控vg的moniter脚本,发现也没有异常,而且脚本在其他库,压力都比较大的都不曾出问题。

当前的配置为:

[html] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1. Application ora_vg (  
  2.         StartProgram = "/opt/BOSCO_ora/bin/vg_start.sh"  
  3.         StopProgram = "/opt/BOSCO_ora/bin/vg_stop.sh"  
  4.         CleanProgram = "/opt/BOSCO_ora/bin/vg_clean.sh"  
  5.         MonitorProgram = "/opt/BOSCO_ora/bin/vg_monitor.sh"  
  6.         MonitorInterval = 30  
  7.         MonitorTimeout = 30  
  8.         )  

决定暂时将监控时长加大到90s,可以使用两种方法:

(1)可以修改main.cf,但需要重启VCS,无操作时间窗口

(2)命令动态修改

haconf -makerw

hares -modify ora_vg MonitorTimeout 90   ## 调整监控时长为90s,默认是60s

haconf -dump


blog地址:http://blog.csdn.net/hw_libo/article/details/41171561

-- Bosco  QQ:375612082

---- END ----

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:22502次
    • 积分:899
    • 等级:
    • 排名:千里之外
    • 原创:69篇
    • 转载:8篇
    • 译文:0篇
    • 评论:0条