10G ocr损坏的故障的恢复

群里朋友新装的RAC,CRS出现问题启动不了

 

[root@rac1 bin]# ps -ef | grep -i crs
root       470 22001  0 09:04 pts/1    00:00:00 grep -i crs
root     22499     1  0 08:56 ?        00:00:00 /bin/su -l oracle -c sh -c 'ulimit -c unlimited; cd /u01/oracle/product/10.2.0/crs_1/log/rac1/evmd; exec /u01/oracle/product/10.2.0/crs_1/bin/evmd '
root     22833 22767  0 08:57 ?        00:00:00 /bin/su -l oracle -c /bin/sh -c 'ulimit -c unlimited; cd /u01/oracle/product/10.2.0/crs_1/log/rac1/cssd;  /u01/oracle/product/10.2.0/crs_1/bin/ocssd  || exit $?'
oracle   22834 22833  0 08:57 ?        00:00:00 /bin/sh -c ulimit -c unlimited; cd /u01/oracle/product/10.2.0/crs_1/log/rac1/cssd;  /u01/oracle/product/10.2.0/crs_1/bin/ocssd  || exit $?
oracle   22858 22834  0 08:57 ?        00:00:01 /u01/oracle/product/10.2.0/crs_1/bin/ocssd.bin
oracle   23261 22499  0 08:58 ?        00:00:00 /u01/oracle/product/10.2.0/crs_1/bin/evmd.bin
oracle   23364 23261  0 08:58 ?        00:00:00 /u01/oracle/product/10.2.0/crs_1/bin/evmlogger.bin -o /u01/oracle/product/10.2.0/crs_1/evm/log/evmlogger.info -l /u01/oracle/product/10.2.0/crs_1/evm/log/evmlogger.log
oracle   29175 23609  0 09:02 pts/2    00:00:00 tail -f /u01/oracle/product/10.2.0/crs_1/log/rac1/crsd/crsd.log 50
root     31319     1  0 09:03 ?        00:00:00 /bin/sh /etc/init.d/init.crsd run

发现/etc/init.d/init.crsd run进程异常

 

让他执行

 

/etc/init.d/init.crs stop
/etc/init.d/init.crs start
然后把刚生成的日志发出来

 

新生成的日志内容如下:

 

/etc/init.d/init.crs start
Startup will be queued to init within 90 seconds.
2012-06-07 09:19:02.724: [ CRSMAIN][1491744]0Filename is /u01/oracle/product/10.2.0/crs_1/crs/init/rac1.pid
[  clsdmt][2866539408]Listening to (ADDRESS=(PROTOCOL=ipc)(KEY=rac1DBG_CRSD))
2012-06-07 09:19:02.778: [ CRSMAIN][1491744]0Using Authorizer location: /u01/oracle/product/10.2.0/crs_1/crs/auth/
2012-06-07 09:19:03.513: [ CRSMAIN][1491744]0Initializing RTI
2012-06-07 09:19:03.514: [CRSTIMER][2845559696]0Timer Thread Starting.
2012-06-07 09:19:03.729: [  CRSRES][1491744]0Parameter SECURITY = 1, running in USER Mode
2012-06-07 09:19:03.730: [ CRSMAIN][1491744]0Initializing EVMMgr
2012-06-07 09:19:03.912: [ COMMCRS][2835069840]clsc_connect: (0xa2ad670) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))

2012-06-07 09:19:04.595: [ COMMCRS][2835069840]clsc_connect: (0xa2ce380) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))

2012-06-07 09:19:05.027: [ COMMCRS][2835069840]clsc_connect: (0xa3470a8) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))

2012-06-07 09:19:05.960: [ COMMCRS][2835069840]clsc_connect: (0xa2ab2f8) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))

2012-06-07 09:19:06.645: [ COMMCRS][2835069840]clsc_connect: (0xa2ab380) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))

2012-06-07 09:19:07.825: [ COMMCRS][2835069840]clsc_connect: (0xa2ca0c8) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))
2012-06-07 09:19:08.564: [  OCROSD][1491744] utread:3: problem reading buffer a332000 buflen 4096 retval 0 phy_offset 4329472 retry 0
2012-06-07 09:19:08.565: [  OCROSD][1491744]utread:4: problem reading the buffer errno 2 errstring No such file or directory
2012-06-07 09:19:08.565: [  OCRRAW][1491744]rtnode:3: invalid tnode 1000
2012-06-07 09:19:08.565: [  OCRRAW][1491744]propropen:0: could not read tnode addrd=0
2012-06-07 09:19:08.565: [  OCRRAW][1491744]proprseterror: Error in accessing physical storage [26] Marking context invalid.
2012-06-07 09:19:08.565: [  CRSOCR][1491744]0Resource ora!devdb!CRM!cs has incomplete attribute set.
2012-06-07 09:19:08.565: [  CRSOCR][1491744]0OCR api procr_enum_subkey failed for key . OCR error code = 3 OCR error msg: 
2012-06-07 09:19:08.565: [  CRSOCR][1491744][PANIC]0Failed during enumeration for: (File: caaocr.cpp, line: 491)

 

发现如下报错信息怀疑ocr被破坏或者是BUG导致:

让他恢复ocr进行测试:步骤如下:

[root@rac1 ~]# su - oracle
rac1-> ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          2
         Total space (kbytes)     :     262144
         Used space (kbytes)      :       4312
         Available space (kbytes) :     257832
         ID                       :  834515643
         Device/File Name         : /ocfs/clusterware/ocr
                                    Device/File integrity check failed
n
                                    Device/File not configured

         Cluster registry integrity check failed

 

rac1-> ocrconfig -showbackup

rac1     2012/06/05 14:30:30     /u01/oracle/product/10.2.0/crs_1/cdata/crs

          

          

rac1     2012/06/05 14:30:30     /u01/oracle/product/10.2.0/crs_1/cdata/crs

rac1     2012/06/05 14:30:30     /u01/oracle/product/10.2.0/crs_1/cdata/crs

 

 

两个节点关闭crs

/etc/init.d/init.crs stop
ps -ef | grep -i crs 确认crs已经关闭

 

[root@rac1 ~]# ps -ef | grep -i crs
root     31263     1  0 11:45 ?        00:00:00 /bin/sh /etc/init.d/init.crsd run
root     31719 30563  0 11:47 pts/2    00:00:00 grep -i crs

 

 

然后在root用户下执行

 

rac1-> ocrconfig -restore /u01/oracle/product/10.2.0/crs_1/cdata/crs

 

 

 

 

恢复完毕以后,启动crs,db

/etc/init.d/init.crs start

 

srvctl start nodeapps -d dbname

srvctl start  database -d dbname

 

查看状态

 

 

 

rac1-> crs_stat -t
Name           Type           Target    State     Host       
------------------------------------------------------------
ora.devdb.db   application    ONLINE    ONLINE    rac2       
ora....b1.inst application    ONLINE    ONLINE    rac1       
ora....b2.inst application    ONLINE    ONLINE    rac2       
ora....SM1.asm application    ONLINE    ONLINE    rac1       
ora....C1.lsnr application    ONLINE    ONLINE    rac1       
ora.rac1.gsd   application    ONLINE    ONLINE    rac1       
ora.rac1.ons   application    ONLINE    ONLINE    rac1       
ora.rac1.vip   application    ONLINE    ONLINE    rac1       
ora....SM2.asm application    ONLINE    ONLINE    rac2       
ora....C2.lsnr application    ONLINE    ONLINE    rac2       
ora.rac2.gsd   application    ONLINE    ONLINE    rac2       
ora.rac2.ons   application    ONLINE    ONLINE    rac2       
ora.rac2.vip   application    ONLINE    ONLINE    rac2 

rac系统恢复正常!

 

 

 

 

 

 

 

 

 

 

 

 

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/8410760/viewspace-732152/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/8410760/viewspace-732152/