VCS引起的oracle数据库异常重启一例

转载 2017年01月03日 15:33:41

1. 环境描述

操作系统版本:SUSE Linux Enterprise Server 10 sp2 (x86_64)

数据库版本:Oracle 11.1.0.7.16

VCS版本:5.1

blog地址:http://blog.csdn.net/hw_libo/article/details/41171561


2. 问题现象及分析

凌晨3:46左右,手机短信收到数据库异常告警。

(1)查看数据库alert日志

[html] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1. Sun Nov 16 03:46:51 2014  
  2. Stopping background process SMCO  
  3. Stopping background process FBDA  
  4. Shutting down instance: further logons disabled  
  5. Sun Nov 16 03:46:54 2014  
  6. kkjcre1p: unable to spawn jobq slave process, slot 0, error 1089  
  7. Stopping background process CJQ0  
  8. Stopping background process QMNC  
  9. Stopping background process MMNL  
  10. Stopping background process MMON  
  11. Sun Nov 16 03:47:03 2014  
  12. Shutting down instance (immediate)  
  13. License high water mark = 366  
  14. Sun Nov 16 03:51:52 2014  
  15. License high water mark = 366  
  16. USER (ospid: 8654): terminating the instance  
  17. Sun Nov 16 03:51:52 2014  
  18. ORA-1092 : opiodr aborting process unknown ospid (28656_47367034883680)  
  19. Sun Nov 16 03:51:52 2014  
  20. LGWR waiting for instance termination  

并未发现较为明显的异常原因。

同时也查看了那个时间段的报告,发现数据库压力不大,也没有什么异常的SQL存在。


(2)检查OS资源使用


系统资源使用正常,IO也不高。


(3)查看messages日志

[html] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1. Nov 16 03:42:46 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13027 Thread(4149214112) Resource(ora_vg) - monitor procedure did not complete within the expected time.  
  2. Nov 16 03:42:46 boscodb Had[10258]: VCS ERROR V-16-2-13027 (boscodb) Resource(ora_vg) - monitor procedure did not complete within the expected time.  
  3. Nov 16 03:43:01 boscodb su: (to root) root on none  
  4. ……  
  5. Nov 16 03:45:39 boscodb su: (to oracle) root on none  
  6. Nov 16 03:45:47 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13210 Thread(4154813344) Agent is calling clean for resource(ora_vg) because 4 successive invocations of the monitor procedure did not complete within the expected time.  
  7. Nov 16 03:45:47 boscodb Had[10258]: VCS ERROR V-16-2-13210 (boscodb) Agent is calling clean for resource(ora_vg) because 4 successive invocations of the monitor procedure did not complete within the expected time.  
  8. ……  
  9. Nov 16 03:46:48 boscodb AgentFramework[10894]: VCS ERROR V-16-2-13006 Thread(4153760672) Resource(ora_vg): clean procedure did not complete within the expected time.  
  10. Nov 16 03:46:48 boscodb Had[10258]: VCS ERROR V-16-2-13006 (boscodb) Resource(ora_vg): clean procedure did not complete within the expected time.  
  11. Nov 16 03:46:49 boscodb AgentFramework[10899]: VCS ERROR V-16-2-13067 Thread(4155194272) Agent is calling clean for resource(ora_archive) because the resource became OFFLINE unexpectedly, on its own.  
  12. Nov 16 03:46:50 boscodb Had[10258]: VCS ERROR V-16-2-13067 (boscodb) Agent is calling clean for resource(ora_archive) because the resource became OFFLINE unexpectedly, on its own.  
  13. Nov 16 03:46:51 boscodb AgentFramework[10899]: VCS ERROR V-16-2-13068 Thread(4155194272) Resource(ora_archive) - clean completed successfully.  
原来是VCS出现了错误,监控vg超时了,这些错误信息在VCS的日志中也有记录。


3. 解决办法

检查了监控vg的moniter脚本,发现也没有异常,而且脚本在其他库,压力都比较大的都不曾出问题。

当前的配置为:

[html] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1. Application ora_vg (  
  2.         StartProgram = "/opt/BOSCO_ora/bin/vg_start.sh"  
  3.         StopProgram = "/opt/BOSCO_ora/bin/vg_stop.sh"  
  4.         CleanProgram = "/opt/BOSCO_ora/bin/vg_clean.sh"  
  5.         MonitorProgram = "/opt/BOSCO_ora/bin/vg_monitor.sh"  
  6.         MonitorInterval = 30  
  7.         MonitorTimeout = 30  
  8.         )  

决定暂时将监控时长加大到90s,可以使用两种方法:

(1)可以修改main.cf,但需要重启VCS,无操作时间窗口

(2)命令动态修改

haconf -makerw

hares -modify ora_vg MonitorTimeout 90   ## 调整监控时长为90s,默认是60s

haconf -dump


blog地址:http://blog.csdn.net/hw_libo/article/details/41171561

-- Bosco  QQ:375612082

---- END ----

VCS引起的oracle数据库异常重启一例

1. 环境描述 操作系统版本:SUSE Linux Enterprise Server 10 sp2 (x86_64) 数据库版本:Oracle 11.1.0.7.16 VCS版本:5.1 blog...
  • HW_LiBo
  • HW_LiBo
  • 2014年11月16日 13:09
  • 3452

AIX下oracle数据库自动重启设置

一个关于oracle数据库的有趣问题: 中远公司在没加磁盘阵列前建了一个oracle实例zycw,加磁盘阵列后新建了一个实例zync。 为了节省系统资源本打算平时只启实例yznc,需要时才启动zy...
  • paluo
  • paluo
  • 2011年04月28日 11:17
  • 1439

oracle数据库重启产生的问题详解

最近公司数据库服务器重启后造成索引、主键无效。 具体解决如下: --oracle查询数据库表的所有索引 select a.index_name, b.column_name from dba_inde...

重启linux下的oracle数据库

在linux下重启oracle数据库及监听器: 用root以ssh登录到linux,打开终端输入以下命令: cd $ORACLE_HOME #进入到oracle的安装目录 dbstar...

服务器重启后Linux下oracle数据库启动服务小结

假期回来发现连接数据库总是报错,原来是服务器重启之后数据库的服务没有启动,在这里总结一下解决办法,分享一下。 一、在Linux下启动Oracle 1.登录到Linux服务器,切换到orac...

Oracle数据库归档日志满后造成系统宕机解决一例

第一次宕机时,初始以为是系统内存溢出,于是重启应用服务器,发现应用服务器在启动时报错,错误为无法连接到Oracle数据库。于是连接数据库服务器,打开EM后发现系统报错如图: 提示归档日志...

Oracle数据库直连IO异常,更改localhost为本机IP地址后运行正常

2015年9月1日19:03:39 //一星期内都被这个IO异常搞的烦躁不已,不停的倒包 建库 建监听 始终是IO异常,今天破罐破摔之后居然成功了,记录一下。 //BaseDAO 惨烈的注释见...

Oracle数据库Constraint约束的常用操作及异常处理

1.报告约束异常   如果校验约束时存在异常,则返回一个错误,且完整性约束仍保持未被校验状态.当约束存在异常时,一个语句就不能正确执行,则此语句被回滚.如果存在异常,必须要更新或删除了约束的所有异常...

Oracle数据库疑问:函数出现no_data_found不报异常

今天做一个功能的时候,发现Oracle数据库的一个令人很奇怪的点: 在sql里面调用的函数,如果函数体出现no_data_found的报错居然不会显式报错!而是终止执行,不报错,并返回null值。真是...
  • samt007
  • samt007
  • 2016年10月25日 15:52
  • 566

Navicat Premium连接Oracle数据库异常

目的:该篇文章记录连接Oracle数据库所出现的异常。 Navicat Premium是一个可以用于操作数据库的工具,对数据库进行增删改查操作。 我第一次用Navicat尝试连接Oracle数据库...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:VCS引起的oracle数据库异常重启一例
举报原因:
原因补充:

(最多只允许输入30个字)