Oracle-实例重启导致其他实例不可访问!

问题背景:

        用户报障生产一套11G的RAC集群,每个节点有5个数据库实例,其中一个实例由于ORA-00600错误引发实例异常重启,在该实例重启之后,同服务器上的其他4个实例均出现无法访问的情况,应用反馈出现ORA-12537连接不上报错问题。

        同时,数据库后台日志出现大量的ORA-27140、ORA-27300、ORA-27301、ORA-27302、ORA-27303报错。

ORA-27140: attach to post/wait facility failed

ORA-27300: OS system dependent operation:invalid_egid failed with status: 1

ORA-27301: OS failure message: Operation not permitted

ORA-27302: failure occurred at: skgpwinit6

ORA-27303: additional information: startup egid = 1001 (oinstall), current egid = 1006 (asmadmin)

        最后,用户通过重启节点4个实例才恢复正常。

问题分析:

        检查问题实例的重启时间,可以看到在18点08分35分-49秒期间实例发生了重启。

        重启之后,其他实例在18点09分开始陆续出现报错,从报错的信息中可以看到,由于数据库启动使用的用户组oinstall与当前用户组asmadmin不一致,导致数据库执行操作失败,这里用户组权限指的是执行程序$ORACLE_HOME/bin/oracle的权限。

        检查执行程序oracle的权限,可以看到程序文件权限为6751和oracle.asmadmin,这个权限是正确的,再看回报错内容信息ORA-27303: additional information: startup egid = 1001 (oinstall), current egid = 1006 (asmadmin),可以推测实例在启动的时候oracle程序是使用了oinstall属组一直正常运行,直到18点09分之后oracle程序的属组变成了现在的asmadmin,引发用户数组不一致的问题。

        从之前旧的trc文件属组,可以进一步确认之前实例启动的oracle程序属组为oracle。

        问题分析到这里,有两个问题需要进一步确认。谁将oracle程序的属组oinstall修改成asmadmin?与问题实例的重启有没有联系?这里,我们单从问题发生的时间线以及报错发生的时间点,可以判断oracle程序的属组变化与问题实例的重启操作存在关系的概率较大。

        接下来,分析问题实例的重启过程,由于实例的异常重启的,重新启库的过程是通过集群oracle_oraagent进程所拉起。检查oracle_oraagent的日志,在agent启动数据库的过程中,我们发现了一条关键的操作命令 /u01/app/grid/product /bin/setasmgidwrap oracle_binary_path

=/u01/app/oracle/product/bin/oracle,通过setasmgidwrap对oracle程序的权限进行修正,也就是问题实例异常关闭,重新启动的过程中,oracle_oraagent执行了命令setasmgidwrap对oracle程序的权限进行了修改,将oracle程序的属组oinstall修改为asmadmin,导致之前通过oinstall属组启动的其他实例属组出现不一致,数据库操作无法正常执行。

        在Oracle官方文档After Dbca Database Creation, Other Database Terminated With ORA-27300/ORA-27301/ORA-27302/ORA-27303 (Doc ID 2406287.1),描述了这一行为,在RAC集群环境,通过集群管理工具srvctl启动数据库实例,会更新oracle程序的属组为asm磁盘组的属组,确保两者属组一致。

问题复现测试:

        为进一步确认分析原因的正确性,我们在测试环境进行了复现测试。

        复现测试场景一:srvctl启动更新oracle程序属组。

        手动修改$ORACLE_HOME/bin/oracle的执行程序为oinstall数组

        通过startup方式启动数据库,数据库可以正常启动操作,oracle程序属组还是oinstall,只要oracle用户的属组里面有磁盘权限asmadmin组,就可以访问asm磁盘组,oracle程序属组为oinstall没影响。

        通过集群管理工具srvctl方式启动数据库,数据库可以正常启动操作,这里可以看到oracle程序会被自动修正为asmadmin。

        查看oracle_oraagent的trc日志,在srvctl启动过程中,会通过setasmgidwrap对oracle程序的权限进行修正,可以确认srvctl启动会修正oracle程序属组。

        复现测试场景二:实例重启影响其他实例问题复现。

        oracle执行程序设置为oinstall属组,通过startup方式启动两个实例test1和db11_1。

        通过kill -9模拟实例test1异常重启。

        test1异常重启之后,之前正常的实例db11_1无法正常访问,复现问题的报错ORA-27303: additional information: startup egid = 1000 (oinstall), current egid= 1001 (asmadmin)。

问题原因:

        1 数据库实例在问题发生之前,oracle程序使用错误的oinstall属组启动。

        2 问题实例异常重启之后,集群通过oracle_oraagent拉起实例,使用集群管理工具srvctl方式启动,启动过程会执行setasmgidwrap修正$ORACLE_HOME/bin/oracle 权限为正确的属组asmadmin。

        3 调整后的权限asmadmin与现有实例启动的oinstall权限不一致,导致产生ORA-27303用户属组不一致的报错,数据库无法正常访问。

问题建议:

        1 确保oracle执行程序的权限正确为6751和oracle:asmadmin。

        2 CRS/HAS环境,数据库实例的启动要通过集群工具srvctl进行管理,避免采用startup等手工管理方式。

  • 18
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值