Oracle 11g RAC CRS-4535/ORA-15077

原文地址：http://blog.csdn.net/leshami/article/details/8468592

新安装了Oracle 11g rac之后，不知道是什么原因导致第二个节点上的crsd无法启动？其错误消息是CRS-4535: Cannot communicate with Cluster Ready Services。其具体的错误信息还需要查看crsd.log日志才知道。

[python]  view plain  copy

1. 1、环境  
2.  [root@linux2 ~]# cat /etc/issue  
3.  Enterprise Linux Enterprise Linux Server release 5.5 (Carthage)  
4.  Kernel \r on an \m  
5.    
6.  [root@linux2 bin]# ./crsctl query crs activeversion  
7.  Oracle Clusterware active version on the cluster is [11.2.0.1.0]  
8.  #注意下文中描述中使用了grid与root用户操作不同的对象。  
9.    
10. 2、错误症状  
11.  [root@linux2 bin]# ./crsctl check crs  
12.  CRS-4638: Oracle High Availability Services is online  
13.  CRS-4535: Cannot communicate with Cluster Ready Services   #CRS-4535  
14.  CRS-4529: Cluster Synchronization Services is online  
15.  CRS-4533: Event Manager is online  
16.   
17.  [root@linux2 bin]# ps -ef | grep d.bin   #下面的查询中没有crsd.bin  
18.  root      3886     1  1 09:50 ?        00:00:11 /u01/app/11.2.0/grid/bin/ohasd.bin reboot  
19.  grid      3938     1  0 09:51 ?        00:00:04 /u01/app/11.2.0/grid/bin/oraagent.bin  
20.  grid      4009     1  0 09:51 ?        00:00:00 /u01/app/11.2.0/grid/bin/gipcd.bin  
21.  grid      4014     1  0 09:51 ?        00:00:00 /u01/app/11.2.0/grid/bin/mdnsd.bin  
22.  grid      4028     1  0 09:51 ?        00:00:02 /u01/app/11.2.0/grid/bin/gpnpd.bin  
23.  root      4040     1  0 09:51 ?        00:00:03 /u01/app/11.2.0/grid/bin/cssdmonitor  
24.  root      4058     1  0 09:51 ?        00:00:04 /u01/app/11.2.0/grid/bin/cssdagent  
25.  root      4060     1  0 09:51 ?        00:00:00 /u01/app/11.2.0/grid/bin/orarootagent.bin  
26.  grid      4090     1  2 09:51 ?        00:00:15 /u01/app/11.2.0/grid/bin/ocssd.bin   
27.  grid      4094     1  0 09:51 ?        00:00:02 /u01/app/11.2.0/grid/bin/diskmon.bin -d -f  
28.  root      4928     1  0 09:51 ?        00:00:00 /u01/app/11.2.0/grid/bin/octssd.bin reboot  
29.  grid      4945     1  0 09:51 ?        00:00:02 /u01/app/11.2.0/grid/bin/evmd.bin  
30.  root      6514  5886  0 10:00 pts/1    00:00:00 grep d.bin  
31.   
32.  [root@linux2 bin]# ./crsctl stat res -t -init  
33.  --------------------------------------------------------------------------------  
34.  NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
35.  --------------------------------------------------------------------------------  
36.  Cluster Resources  
37.  --------------------------------------------------------------------------------  
38.  ora.asm  
39.        1        ONLINE  ONLINE       linux2                   Cluster Reconfigura   
40.                                                               tion                  
41.  ora.crsd  
42.        1        ONLINE  OFFLINE       #crsd处于offline状态                                                
43.  ora.cssd  
44.        1        ONLINE  ONLINE       linux2                                         
45.  ora.cssdmonitor  
46.        1        ONLINE  ONLINE       linux2                                         
47.  ora.ctssd  
48.        1        ONLINE  ONLINE       linux2                   OBSERVER              
49.  ora.diskmon  
50.        1        ONLINE  ONLINE       linux2                                         
51.  ora.drivers.acfs  
52.        1        ONLINE  OFFLINE      #acfs处于offline状态                                               
53.  ora.evmd  
54.        1        ONLINE  ONLINE       linux2                                         
55.  ora.gipcd  
56.        1        ONLINE  ONLINE       linux2                                         
57.  ora.gpnpd  
58.        1        ONLINE  ONLINE       linux2                                         
59.  ora.mdnsd  
60.        1        ONLINE  ONLINE       linux2              
61.    
62.  #下面查看crsd对应的日志文件  
63.  [grid@linux2 ~]$ view $ORACLE_HOME/log/linux2/crsd/crsd.log  
64.    
65.  2013-01-05 10:28:27.107: [GIPCXCPT][1768145488] gipcShutdownF: skipping shutdown, count 1, from [ clsgpnp0.c : 1021],   
66.   ret gipcretSuccess (0)  
67.  2013-01-05 10:28:27.107: [  OCRASM][1768145488]proprasmo: Error in open/create file in dg [OCR_VOTE] #打开磁盘组错误  
68.  [  OCRASM][1768145488]SLOS : SLOS: cat=7, opn=kgfoAl06, dep=15077, loc=kgfokge  
69.  ORA-15077: could not locate ASM instance serving a required diskgroup  #出现了ORA错误  
70.    
71.  2013-01-05 10:28:27.107: [  OCRASM][1768145488]proprasmo: kgfoCheckMount returned [7]  
72.  2013-01-05 10:28:27.107: [  OCRASM][1768145488]proprasmo: The ASM instance is down    #实例处于关闭状态  
73.  2013-01-05 10:28:27.107: [  OCRRAW][1768145488]proprioo: Failed to open [+OCR_VOTE]. Returned proprasmo() with [26].  
74.    Marking location as UNAVAILABLE.  
75.  2013-01-05 10:28:27.107: [  OCRRAW][1768145488]proprioo: No OCR/OLR devices are usable  #OCR/OLR设备不可用  
76.  2013-01-05 10:28:27.107: [  OCRASM][1768145488]proprasmcl: asmhandle is NULL  
77.  2013-01-05 10:28:27.107: [  OCRRAW][1768145488]proprinit: Could not open raw device  
78.  2013-01-05 10:28:27.107: [  OCRASM][1768145488]proprasmcl: asmhandle is NULL  
79.  2013-01-05 10:28:27.107: [  OCRAPI][1768145488]a_init:16!: Backend init unsuccessful : [26]  
80.  2013-01-05 10:28:27.107: [  CRSOCR][1768145488] OCR context init failure.  Error: PROC-26: Error while accessing the   
81.   physical storage ASM error [SLOS: cat=7, opn=kgfoAl06, dep=15077, loc=kgfokge  
82.  ORA-15077: could not locate ASM instance serving a required diskgroup  
83.  ] [7]  
84.  2013-01-05 10:28:27.107: [    CRSD][1768145488][PANIC] CRSD exiting: Could not init OCR, code: 26  
85.  2013-01-05 10:28:27.107: [    CRSD][1768145488] Done.  
86.   
87.  [root@linux2 bin]# ps -ef | grep pmon   #查看pmon进程，此处也表明ASM实例没有启动  
88.  root      7447  7184  0 10:48 pts/2    00:00:00 grep pmon  
89.     
90.   #从上面的分析可知，应该是ASM实例没有启动的原因导致了crsd进程无法启动  
91.   
92. 3、解决    
93.  [grid@linux2 ~]$ asmcmd            
94.  Connected to an idle instance.  
95.  ASMCMD> startup                  #启动asm实例  
96.  ASM instance started  
97.    
98.  Total System Global Area  283930624 bytes  
99.  Fixed Size                  2212656 bytes  
100.  Variable Size             256552144 bytes  
101.  ASM Cache                  25165824 bytes  
102.  ASM diskgroups mounted  
103.  ASMCMD> exit  
104.   
105.  #Author : Robinson  
106.  #Blog   : http://blog.csdn.net/robinson_0612  
107.    
108.  #再次查看集群资源的状态  
109.  [root@linux2 bin]# ./crsctl stat res -t -init  
110.  --------------------------------------------------------------------------------  
111.  NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
112.  --------------------------------------------------------------------------------  
113.  Cluster Resources  
114.  --------------------------------------------------------------------------------  
115.  ora.asm  
116.        1        ONLINE  ONLINE       linux2                   Started               
117.  ora.crsd  
118.        1        ONLINE  INTERMEDIATE linux2                                         
119.  ora.cssd  
120.        1        ONLINE  ONLINE       linux2                                         
121.  ora.cssdmonitor  
122.        1        ONLINE  ONLINE       linux2                                         
123.  ora.ctssd  
124.        1        ONLINE  ONLINE       linux2                   OBSERVER              
125.  ora.diskmon  
126.        1        ONLINE  ONLINE       linux2                                         
127.  ora.drivers.acfs  
128.        1        ONLINE  OFFLINE                                                     
129.  ora.evmd  
130.        1        ONLINE  ONLINE       linux2                                         
131.  ora.gipcd  
132.        1        ONLINE  ONLINE       linux2                                         
133.  ora.gpnpd  
134.        1        ONLINE  ONLINE       linux2                                         
135.  ora.mdnsd  
136.        1        ONLINE  ONLINE       linux2                       
137.   
138.  #启动acfs  
139.  [root@linux2 bin]# ./crsctl start res ora.drivers.acfs -init  
140.  CRS-2672: Attempting to start 'ora.drivers.acfs' on 'linux2'  
141.  CRS-2676: Start of 'ora.drivers.acfs' on 'linux2' succeeded  
142.   
143.  #之后所有的状态都处于online状态               
144.  [root@linux2 bin]# ./crsctl stat res -t -init  
145.  --------------------------------------------------------------------------------  
146.  NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
147.  --------------------------------------------------------------------------------  
148.  Cluster Resources  
149.  --------------------------------------------------------------------------------  
150.  ora.asm  
151.        1        ONLINE  ONLINE       linux2                   Started               
152.  ora.crsd  
153.        1        ONLINE  ONLINE       linux2                                         
154.  ora.cssd  
155.        1        ONLINE  ONLINE       linux2                                         
156.  ora.cssdmonitor  
157.        1        ONLINE  ONLINE       linux2                                         
158.  ora.ctssd  
159.        1        ONLINE  ONLINE       linux2                   OBSERVER              
160.  ora.diskmon  
161.        1        ONLINE  ONLINE       linux2                                         
162.  ora.drivers.acfs  
163.        1        ONLINE  ONLINE       linux2                                         
164.  ora.evmd  
165.        1        ONLINE  ONLINE       linux2                                         
166.  ora.gipcd  
167.        1        ONLINE  ONLINE       linux2                                         
168.  ora.gpnpd  
169.        1        ONLINE  ONLINE       linux2                                         
170.  ora.mdnsd  
171.        1        ONLINE  ONLINE       linux2