ORACLE RAC 11.2.0.4 FOR RHEL6集群无法启动的处理

最新推荐文章于 2024-04-07 10:35:10 发布
最新推荐文章于 2024-04-07 10:35:10 发布
阅读量870 收藏 3
点赞数 1
分类专栏： ORACLE数据库 文章标签： oracle 11.2.0.4 bond cssd NetworkManager
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/www_xue_xi/article/details/84859365
版权

    ORACLE RAC 11.2.0.4 FOR RHEL6集群无法启动与RHEL的NetworkManager服务有关系，本文介绍一例相关

故障的处理。

    1、问题描述：

    oracle rac 11.2.0.4 for rhel6主机重启，重启之后发现oracle rac集群无法启动。

rac2主机启动后，发现rac集群启动不了，检查集群进程状态，发现cssd一直处于starting状态

[root@rac2 bin]# pwd

/u01/oracle/app/grid/home/bin

[root@rac2 bin]# ./crsctl stat res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  OFFLINE                               Instance Shutdown   

ora.cluster_interconnect.haip

      1        ONLINE  OFFLINE                                                   

ora.crf

      1        ONLINE  ONLINE       rac2                                         

ora.crsd

      1        ONLINE  OFFLINE                                                   

ora.cssd

      1        ONLINE  OFFLINE                               STARTING            

ora.cssdmonitor

      1        ONLINE  ONLINE       rac2                                         

ora.ctssd

      1        ONLINE  OFFLINE                                                   

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  OFFLINE                                                   

ora.evmd

      1        ONLINE  OFFLINE                                                   

ora.gipcd

      1        ONLINE  ONLINE       rac2                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac2                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac2                                         

[root@rac2 bin]# 

    2、问题分析

--由于集群启动到cssd无法继续正常启动，查看cssd的日志ocssd.log

发现有报错：has a disk HB, but no network HB

[root@rac2 bin]# tail -f /u01/oracle/app/grid/home/log/rac2/cssd/ocssd.log

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmJoinGrock: global grock CRF- new client 0x7f268c118700 with con 0x7f2600004253, requested num -1, flags 0x4000e00

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmJoinGrock: ignoring grock join for client not requiring fencing until group information has been received from the master; group name CRF-, member number -1, flags 0x4000e00

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDiscEndpcl: gipcDestroy 0x4253

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDeadProc: proc 0x7f268c116f40

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDestroyProc: cleaning up proc(0x7f268c116f40) con(0x4224) skgpid  ospid 2599 with 0 clients, refcount 0

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDiscEndpcl: gipcDestroy 0x4224

2018-12-06 10:16:35.754: [    CSSD][2275362560]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336931, LATS 4294670080, lastSeqNo 336928, uniqueness 1544015571, timestamp 1544025004/8530004

2018-12-06 10:16:35.992: [    CSSD][2261169920]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0

2018-12-06 10:16:36.288: [    CSSD][2265900800]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336933, LATS 4294670610, lastSeqNo 336930, uniqueness 1544015571, timestamp 1544025004/8530494

2018-12-06 10:16:36.775: [    CSSD][2275362560]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336934, LATS 4294671100, lastSeqNo 336931, uniqueness 1544015571, timestamp 1544025005/8531004

2018-12-06 10:16:36.993: [    CSSD][2261169920]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0

2018-12-06 10:16:36.993: [GIPCHALO][2280093440] gipchaLowerProcessNode: no valid interfaces found to node for 4294671320 ms, node 0x7f267c0bd080 { host 'rac1', haName 'CSS_raccls', srcLuid 43347245-1561779d, dstLuid 00000000-00000000 numInf 0, contigSeq 0, lastAck 0, lastValidAck 0, sendSeq [572 : 572], createTime 4294099030, sentRegister 1, localMonitor 1, flags 0x4 }

2018-12-06 10:16:37.007: [GIPCHDEM][2485143296] gipchaDaemonInfRequest: sent local interfaceRequest,  hctx 0x115c700 [0000000000000010] { gipchaContext : host 'rac2', name 'CSS_raccls', luid '43347245-00000000', numNode 1, numInf 0, usrFlags 0x0, flags 0x63 } to gipcd

2018-12-06 10:16:37.289: [    CSSD][2265900800]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336936, LATS 4294671610, lastSeqNo 336933, uniqueness 1544015571, timestamp 1544025005/8531494

2018-12-06 10:16:37.784: [    CSSD][2275362560]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336937, LATS 4294672110, lastSeqNo 336934, uniqueness 1544015571, timestamp 1544025006/8532004

2018-12-06 10:16:37.907: [    CSSD][2489263872]clssgmExecuteClientRequest: MAINT recvd from proc 2 (0x7f268c0593b0)

2018-12-06 10:16:37.907: [    CSSD][2489263872]clssgmShutDown: Received abortive shutdown request from client.

2018-12-06 10:16:37.907: [    CSSD][2489263872]###################################

2018-12-06 10:16:37.907: [    CSSD][2489263872]clssscExit: CSSD aborting from thread GMClientListener

2018-12-06 10:16:37.907: [    CSSD][2489263872]###################################

2018-12-06 10:16:37.907: [    CSSD][2489263872](:CSSSC00012:)clssscExit: A fatal error occurred and the CSS daemon is terminating abnormally

[root@rac2 bin]# 

 

--根据cssd的日志ocssd.log检查节点间通信发现rac1到rac2的public网卡地址无法互相ping通

[grid@rac1 ~]$ ping rac2

PING rac2 (20.20.20.37) 56(84) bytes of data.

From rac1 (20.20.20.34) icmp_seq=1 Destination Host Unreachable

From rac1 (20.20.20.34) icmp_seq=2 Destination Host Unreachable

From rac1 (20.20.20.34) icmp_seq=3 Destination Host Unreachable

^C

--- rac2 ping statistics ---

5 packets transmitted, 0 received, +3 errors, 100% packet loss, time 4998ms

pipe 3

[grid@rac1 ~]$ 

[root@rac2 bin]# ping rac1

PING rac1 (20.20.20.34) 56(84) bytes of data.

From rac2 (20.20.20.37) icmp_seq=2 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=3 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=4 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=5 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=6 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=7 Destination Host Unreachable

^C

--- rac1 ping statistics ---

20 packets transmitted, 0 received, +15 errors, 100% packet loss, time 19395ms

pipe 4

[root@rac2 bin]# 

 

--但是rac1和rac2的priv私有网卡是通的

[root@rac2 bin]# ping rac1priv

PING rac1priv (172.25.25.1) 56(84) bytes of data.

64 bytes from rac1priv (172.25.25.1): icmp_seq=1 ttl=64 time=0.636 ms

^C

--- rac1priv ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 727ms

rtt min/avg/max/mdev = 0.636/0.636/0.636/0.000 ms

[root@rac2 bin]# ping rac2priv

PING rac2priv (172.25.25.2) 56(84) bytes of data.

64 bytes from rac2priv (172.25.25.2): icmp_seq=1 ttl=64 time=0.018 ms

64 bytes from rac2priv (172.25.25.2): icmp_seq=2 ttl=64 time=0.030 ms

^C

--- rac2priv ping statistics ---

2 packets transmitted, 2 received, 0% packet loss, time 1300ms

rtt min/avg/max/mdev = 0.018/0.024/0.030/0.006 ms

[root@rac2 bin]# 

[grid@rac1 ~]$ ping rac1priv

PING rac1priv (172.25.25.1) 56(84) bytes of data.

64 bytes from rac1priv (172.25.25.1): icmp_seq=1 ttl=64 time=0.016 ms

^C

--- rac1priv ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 897ms

rtt min/avg/max/mdev = 0.016/0.016/0.016/0.000 ms

[grid@rac1 ~]$ ping rac2priv

PING rac2priv (172.25.25.2) 56(84) bytes of data.

64 bytes from rac2priv (172.25.25.2): icmp_seq=1 ttl=64 time=0.162 ms

^C

--- rac2priv ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 819ms

rtt min/avg/max/mdev = 0.162/0.162/0.162/0.000 ms

[grid@rac1 ~]$

 

--查看rac2的网络接口和网卡IP地址信息，发现四张网卡的IP地址均为集群私有网卡地址bond1的IP，

虽然bond0有IP地址，但是ping不通

[root@rac2 ~]# ifconfig -a

bond0     Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          inet addr:20.20.20.37  Bcast:20.20.20.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe11:69e3/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:355 errors:0 dropped:0 overruns:0 frame:0

          TX packets:44 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:220099 (214.9 KiB)  TX bytes:4611 (4.5 KiB)

bond1     Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe72:be6e/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:296 errors:0 dropped:0 overruns:0 frame:0

          TX packets:188 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:185467 (181.1 KiB)  TX bytes:27072 (26.4 KiB)

eth0      Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:110 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:88432 (86.3 KiB)  TX bytes:0 (0.0 b)

eth1      Link encap:Ethernet  HWaddr 08:00:27:9D:E6:00  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:245 errors:0 dropped:0 overruns:0 frame:0

          TX packets:44 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:131667 (128.5 KiB)  TX bytes:4611 (4.5 KiB)

eth2      Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:230 errors:0 dropped:0 overruns:0 frame:0

          TX packets:188 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:127461 (124.4 KiB)  TX bytes:27072 (26.4 KiB)

eth3      Link encap:Ethernet  HWaddr 08:00:27:CA:0D:9C  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:66 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:58006 (56.6 KiB)  TX bytes:0 (0.0 b)

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:20 errors:0 dropped:0 overruns:0 frame:0

          TX packets:20 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:1141 (1.1 KiB)  TX bytes:1141 (1.1 KiB)

[root@rac2 ~]# 

 

--如果使用root执行service network restart之后，bond网卡均失去IP地址，并且外部机器均无法与rac2网络互通

--这种bond异常的状况，与rhel的NetworkManager服务管理网络服务有关

    3、问题处理

    在rhel主机使用网卡bond的状况下，rhel的NetworkManager管理网卡服务，会导致bond网卡绑定ip地址异常，需要

关闭NetworkManager并设置其不随机启动。

--关闭NetworkManager并设置其不随机启动

--重启网络服务，检查bond网卡正常

[root@rac2 ~]# ifconfig -a

bond0     Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          inet addr:20.20.20.37  Bcast:20.20.20.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe11:69e3/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:5988 errors:0 dropped:0 overruns:0 frame:0

          TX packets:173 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:5637836 (5.3 MiB)  TX bytes:21701 (21.1 KiB)

bond1     Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe72:be6e/64 Scope:Link

          UP BROADCAST MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:7780 errors:0 dropped:0 overruns:0 frame:0

          TX packets:2532 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:5549280 (5.2 MiB)  TX bytes:368936 (360.2 KiB)

eth0      Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:2171 errors:0 dropped:0 overruns:0 frame:0

          TX packets:73 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:2021551 (1.9 MiB)  TX bytes:7343 (7.1 KiB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:9D:E6:00  

          BROADCAST SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:3817 errors:0 dropped:0 overruns:0 frame:0

          TX packets:100 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:3616285 (3.4 MiB)  TX bytes:14358 (14.0 KiB)

eth2      Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          BROADCAST SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:5916 errors:0 dropped:0 overruns:0 frame:0

          TX packets:2532 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:3764442 (3.5 MiB)  TX bytes:368936 (360.2 KiB)

eth3      Link encap:Ethernet  HWaddr 08:00:27:CA:0D:9C  

          BROADCAST SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:1864 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:1784838 (1.7 MiB)  TX bytes:0 (0.0 b)

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:811 errors:0 dropped:0 overruns:0 frame:0

          TX packets:811 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:4242930 (4.0 MiB)  TX bytes:4242930 (4.0 MiB)

[root@rac2 ~]# 

--检查rac2节点集群，发现单节点能够启动

[grid@rac2 ~]$ crsctl status res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       rac2                     Started             

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       rac2                                         

ora.crf

      1        ONLINE  ONLINE       rac2                                         

ora.crsd

      1        ONLINE  ONLINE       rac2                                         

ora.cssd

      1        ONLINE  ONLINE       rac2                                         

ora.cssdmonitor

      1        ONLINE  ONLINE       rac2                                         

ora.ctssd

      1        ONLINE  ONLINE       rac2                     ACTIVE:0            

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  ONLINE       rac2                                         

ora.evmd

      1        ONLINE  ONLINE       rac2                                         

ora.gipcd

      1        ONLINE  ONLINE       rac2                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac2                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac2                                         

[grid@rac2 ~]$ 

 

    小插曲，相比节点rac2，rac1的NetworkManager也在运行，节点rac2的eth网卡却均为public网卡地址，

虽然rac1的eth网卡均为public网卡地址，但是rac1节点的集群实例能正常启动。

[root@rac1 ~]# service NetworkManager status

NetworkManager (pid  1848) 正在运行...

[root@rac1 ~]# 

--节点rac2的eth网卡却均为public网卡地址

[grid@rac1 ~]$ ifconfig -a

bond0     Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fef8:549e/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:42512 errors:0 dropped:0 overruns:0 frame:0

          TX packets:1542 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:39197489 (37.3 MiB)  TX bytes:170518 (166.5 KiB)

bond0:1   Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.26  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

bond0:2   Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.28  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

bond0:3   Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.25  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

bond1     Link encap:Ethernet  HWaddr 08:00:27:6F:A8:F7  

          inet addr:172.25.25.1  Bcast:172.25.25.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe6f:a8f7/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:27140 errors:0 dropped:0 overruns:0 frame:0

          TX packets:43504 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:14877318 (14.1 MiB)  TX bytes:39723988 (37.8 MiB)

bond1:1   Link encap:Ethernet  HWaddr 08:00:27:6F:A8:F7  

          inet addr:169.254.220.217  Bcast:169.254.255.255  Mask:255.255.0.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

eth0      Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:22881 errors:0 dropped:0 overruns:0 frame:0

          TX packets:1391 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:20771703 (19.8 MiB)  TX bytes:158110 (154.4 KiB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:76:6A:BA  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:19631 errors:0 dropped:0 overruns:0 frame:0

          TX packets:151 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:18425786 (17.5 MiB)  TX bytes:12408 (12.1 KiB)

eth2      Link encap:Ethernet  HWaddr 08:00:27:6F:A8:F7  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:13048 errors:0 dropped:0 overruns:0 frame:0

          TX packets:43504 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:1914331 (1.8 MiB)  TX bytes:39723988 (37.8 MiB)

eth3      Link encap:Ethernet  HWaddr 08:00:27:CA:32:4E  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:14092 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:12962987 (12.3 MiB)  TX bytes:0 (0.0 b)

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:79993 errors:0 dropped:0 overruns:0 frame:0

          TX packets:79993 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:55828936 (53.2 MiB)  TX bytes:55828936 (53.2 MiB)

[grid@rac1 ~]$ 

--虽然rac1的eth网卡均为public网卡地址，但是rac1节点的集群实例能正常启动

[grid@rac1 ~]$ crs_stat -t

Name           Type           Target    State     Host        

------------------------------------------------------------

ora.ARCHDG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora.CRSDG.dg   ora....up.type ONLINE    ONLINE    rac1        

ora.DATADG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1        

ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1        

ora.asm        ora.asm.type   ONLINE    ONLINE    rac1        

ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1        

ora.gsd        ora.gsd.type   OFFLINE   OFFLINE               

ora....network ora....rk.type ONLINE    ONLINE    rac1        

ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1        

ora.ons        ora.ons.type   ONLINE    ONLINE    rac1        

ora.orcl.db    ora....se.type ONLINE    ONLINE    rac1        

ora....SM1.asm application    ONLINE    ONLINE    rac1        

ora....C1.lsnr application    ONLINE    ONLINE    rac1        

ora.rac1.gsd   application    OFFLINE   OFFLINE               

ora.rac1.ons   application    ONLINE    ONLINE    rac1        

ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1        

ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac1        

ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1        

ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1        

[grid@rac1 ~]$ crsctl stat res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       rac1                     Started             

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       rac1                                         

ora.crf

      1        ONLINE  ONLINE       rac1                                         

ora.crsd

      1        ONLINE  ONLINE       rac1                                         

ora.cssd

      1        ONLINE  ONLINE       rac1                                         

ora.cssdmonitor

      1        ONLINE  ONLINE       rac1                                         

ora.ctssd

      1        ONLINE  ONLINE       rac1                     ACTIVE:0            

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  ONLINE       rac1                                         

ora.evmd

      1        ONLINE  ONLINE       rac1                                         

ora.gipcd

      1        ONLINE  ONLINE       rac1                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac1                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac1                                         

[grid@rac1 ~]$ 

    继续处理集群启动异常的问题。

--关闭节点rac1的NetworkManager服务并并设置其不开机启动，然后重启主机

[root@rac1 ~]# service NetworkManager status

NetworkManager (pid  1848) 正在运行...

[root@rac1 ~]# service NetworkManager stop

停止 NetworkManager 守护进程：                             [确定]

[root@rac1 ~]# 

[root@rac1 ~]# chkconfig NetworkManager off

[root@rac1 ~]#

[root@rac1 ~]# reboot

Broadcast message from root@rac1

(/dev/pts/0) at 0:16 ...

The system is going down for reboot NOW!

[root@rac1 ~]# 

    4、问题处理结果，调整完2个节点的NetworkManager后，同时重启2台服务器后，oracle rac集群恢复正常

--调整完2个节点的NetworkManager后，检查集群状态，oracle rac集群恢复正常

[grid@rac2 ~]$ crsctl stat res -t

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.ARCHDG.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.CRSDG.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.DATADG.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.LISTENER.lsnr

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.asm

               ONLINE  ONLINE       rac1                     Started             

               ONLINE  ONLINE       rac2                     Started             

ora.gsd

               OFFLINE OFFLINE      rac1                                         

               OFFLINE OFFLINE      rac2                                         

ora.net1.network

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.ons

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.registry.acfs

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       rac2                                         

ora.cvu

      1        ONLINE  ONLINE       rac1                                         

ora.oc4j

      1        ONLINE  ONLINE       rac1                                         

ora.orcl.db

      1        ONLINE  ONLINE       rac2                     Open                

      2        ONLINE  ONLINE       rac1                     Open                

ora.rac1.vip

      1        ONLINE  ONLINE       rac1                                         

ora.rac2.vip

      1        ONLINE  ONLINE       rac2                                         

ora.scan1.vip

      1        ONLINE  ONLINE       rac2                                         

[grid@rac2 ~]$ 

[grid@rac1 ~]$ crsctl stat res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       rac1                     Started             

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       rac1                                         

ora.crf

      1        ONLINE  ONLINE       rac1                                         

ora.crsd

      1        ONLINE  ONLINE       rac1                                         

ora.cssd

      1        ONLINE  ONLINE       rac1                                         

ora.cssdmonitor

      1        ONLINE  ONLINE       rac1                                         

ora.ctssd

      1        ONLINE  ONLINE       rac1                     ACTIVE:0            

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  ONLINE       rac1                                         

ora.evmd

      1        ONLINE  ONLINE       rac1                                         

ora.gipcd

      1        ONLINE  ONLINE       rac1                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac1                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac1                                         

[grid@rac1 ~]$ 

[grid@rac1 ~]$ crs_stat -t

Name           Type           Target    State     Host        

------------------------------------------------------------

ora.ARCHDG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora.CRSDG.dg   ora....up.type ONLINE    ONLINE    rac1        

ora.DATADG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1        

ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac2        

ora.asm        ora.asm.type   ONLINE    ONLINE    rac1        

ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1        

ora.gsd        ora.gsd.type   OFFLINE   OFFLINE               

ora....network ora....rk.type ONLINE    ONLINE    rac1        

ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1        

ora.ons        ora.ons.type   ONLINE    ONLINE    rac1        

ora.orcl.db    ora....se.type ONLINE    ONLINE    rac2        

ora....SM1.asm application    ONLINE    ONLINE    rac1        

ora....C1.lsnr application    ONLINE    ONLINE    rac1        

ora.rac1.gsd   application    OFFLINE   OFFLINE               

ora.rac1.ons   application    ONLINE    ONLINE    rac1        

ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1        

ora....SM2.asm application    ONLINE    ONLINE    rac2        

ora....C2.lsnr application    ONLINE    ONLINE    rac2        

ora.rac2.gsd   application    OFFLINE   OFFLINE               

ora.rac2.ons   application    ONLINE    ONLINE    rac2        

ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac2        

ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1        

ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac2        

[grid@rac1 ~]$ 

kissweety
关注
专栏目录
Oracle Study之--Oracle 11gR2 RAC crs启动故障
天涯客*Blog
06-08 2941
Oracle Study之--Oracle 11gR2 RAC crs启动故障 系统环境：     操作系统：RedHat EL5     Cluster：  Oracle 11gR2 Grid     Oracle：   Oracle 11gR2  RAC环境中，其中一个节点crsd进程启动失败： [grid@wyb666 ~]$ crsctl
Oracle RAC中的一台机器重启以后无法接入集群
weixin_30925411的博客
07-07 330
前天有个同事说有套AIX RAC的其中一台服务器重启了操作系统以后，集群资源CSSD的资源一直都在START的状态，检查日志输出有如下内容： [ CSSD][1286]clssnmvDiskVerify: Successful discovery of 0 disks [ CSSD][1286]clssnmCompleteInitVFDiscovery: Complet...
Oracle 集群RAC拒绝连接问题ORA-12545解决
jastar的专栏
11-29 2716
<br />客户端sqlplus和plsql developer连接集群数据库时时常会有ORA-12545错误，几率很高。据称是Oracle的bug。可以通过修改服务器rac1和rac2的数据库初始化参数来解决这个问题。<br />SQL> sqlplus sys/***@orcl1 as sysdba;<br />SQL> alter system set local_listener='(ADDRESS = (PROTOCOL = TCP)(HOST = 172.168.0.2) (PORT = 152
oracle集群rac无法访问,解决Oracle 11g R2 RAC 无法在客户端通过scanIP连接数据库
weixin_28331555的博客
04-07 666
安装完11g rac后，在10g的客户端的 tnsnames.ora中配置好，scanip,但是无法访问，报错为目标主机不存在，折腾了很久，没弄明白，后面查到，系统初始化参数里有local_listener这一项，在这里可以对host的值加以修改，将scanip注册进来、在监听器中使用vip！-----------------------------------------------------...
集群起不来oracle,IBM小机ORACLE RAC集群起不来的问题处理过程
weixin_42502089的博客
04-03 298
IBM小机ORACLE RAC集群起不来的问题处理过程[@more@]项目要解决问题的描述1操作系统版本AIX5.32Oracle版本Oracle103问题描述两节点通过hacmp实现RAC集群，机器搬迁过后，重启系统之后，发现只能同时启动其中一个节点的服务，另一个节点从asm、database到上层服务都无法启动。处理过程描述1、检查日志，发现rac没有心跳，ping私有网络不通，经检查是网线没...
Oracle_11gR2_RAC+DG_11.2.0.4的安装与配置(DELL_R910_RHEL_6.5) .docx
09-14
本教程旨在指导用户成功地在RHEL 6.5系统上安装Oracle 11g Release 2 (11.2.0.4) RAC集群，并配置Data Guard以实现数据库的冗余和保护。通过RAC，可以实现多个数据库实例共享同一物理存储，从而提高服务的可用性；而...
在Vmware workstation Redhat6 中安装Oracle11.2.0.4 的RAC群集
06-14
本文将详细介绍如何在Vmware Workstation上的Red Hat Enterprise Linux 6 (RHEL6)操作系统中安装Oracle 11.2.0.4的RAC群集。 首先，了解Oracle RAC的基本概念。RAC是一种数据库集群技术，它允许多个服务器节点共享...
ORACLE 11.2.0.4 RAC for CENTOS 7.0安装部署
05-06
- **主机环境**：本文档提到使用北京地区的虚拟机作为实验环境，选择的操作系统为 CentOS 7.0，Oracle 软件版本为 11.2.0.4，共享存储采用 Oracle 自身的 Automatic Storage Management (ASM)。 - **存储环境**：...
Oracle 11.2.0.4 RAC On Linux 7 Install
最新发布
07-24
### Oracle 11.2.0.4 RAC on Linux 7 安装知识点解析 #### 一、准备工作概述 在进行Oracle 11.2.0.4 RAC（Real Application Clusters）的安装之前，需要做好充分的准备工作。这包括了软件包的上传、环境变量的设置...
Oracle 11.2.0.3_RAC升级到11.2.0.4_RAC
05-05
### Oracle 11.2.0.3_RAC 升级至 11.2.0.4_RAC 的详细步骤 #### 一、升级前准备 在进行Oracle RAC（Real Application Clusters）从11.2.0.3升级至11.2.0.4之前，需要确保当前环境的Grid Infrastructure以及数据库...
cssd拉起oracle,cssd启动不了 - Oracle数据库管理 - Oracle数据库数据恢复、性能优化来问问AskMaclean - ParnassusData诗檀软件旗下网站 - Ma...
weixin_39528467的博客
04-03 275
Sep 30 09:45:23 rac1 root: exec /u01/app/11.2.0/grid/perl/bin/perl -I/u01/app/11.2.0/grid/perl/lib /u01/app/11.2.0/grid/bin/crswrapexece.pl /u01/app/11.2.0/grid/crs/install/s_crsconfig_rac1_env.txt /u...
oracle启动cssd服务,Oracle RAC /etc/init.d/init.cssd startcheck
weixin_33773734的博客
04-11 905
oracle rac 一节点crs无法启动，查看cssd进程处于 /etc/init.d/init.cssd startcheck 阶段Oracle rac 一节点crs无法启动，查看cssd进程处于 /etc/init.d/init.cssd startcheck 阶段# ps -ef|grep cssroot 2890 1 0 2012 ? 00:00:00 /bin/sh /etc/init...
rac 启动其中一个node_启动RAC一个节点正常另一节点cssd一直是starting
weixin_39567169的博客
12-19 363
本帖最后由 gongwenbo7 于 2013-3-4 09:37 编辑操作系统为SUSE，数据库版本为11.2.0.3使用CRS命令启动里报错如下：grid@zxdb02:~> sudo /Oracle/app/crs/bin/crsctl start crsCRS-4640: Oracle High Availability Services is already activeCRS-4...
Oracle 11g RAC CSSD进程无法启动real time模式
jin415147的博客
08-15 454
主机因故障重启，重启后节点无法正常启动，其它节点可以正常对外提供服务。
oracle10g cssd日志,Oracle故障处理之CRS-2674: Start of 'ora.cssd' on 'rac2' failed
weixin_42349126的博客
04-03 1217
问题背景：客户反馈Oracle rac集群节点宕机1、首先查看宕机原因归档日志满导致服务重启，查看归档日志路径是USE_DB_RECOVERY_FILE_DEST (默认路径)，安装的时候没有做调整，应该调整单独的归档目录，首先清理归档日志然后修改归档路径2、节点一正常启动，节点二起不来 没有cluster服务检查集群服务在rac2节点上检查集群服务的状态报错[grid@rac2 ~]# u...
oracle votedisk 参数,11g r2 rac votedisk 及 ocr 磁盘破坏后，基于ocr备份的恢复步骤
weixin_28695161的博客
04-13 302
环境说明：--votedisk 盘[root@host01 volacfs]# $GRID_HOME/bin/crsctl query css votedisk##STATE File Universal Id File Name Disk group------- ----------------- --------...
cssd拉起oracle,升级补丁后cssd无法启动 - Oracle数据库管理 - Oracle数据库数据恢复、性能优化来问问AskMaclean - ParnassusData诗檀软件旗下网站 ...
weixin_39996496的博客
04-03 283
环境为2节点rac版本11.2.0.3.0 操作系统 aix 6100-08-00升级第一节点至11.2.0.3.6升级完成后，在最后执行/u01/app/11.2.0/grid/crs/install/rootcrs.pl -patch : run as root时报错crsctl stat res -t -initNAME TARGETSTATE ...
Oracle RAC 单节点宕机 has a disk HB, but no network HB
曾经是个DBA
04-08 6157
故障描述： 由于心跳网络出现问题，2号结点服务器被强制重启。重启之后2号结点上的haip丢失，haip服务无法启动，导致2号结点的asm实例和db实例均无法启动。 crs log里出校大量类似 2014-08-0914:21:51.057: [    CSSD][3358]clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, bu
oracle重启节点的OCSSD无法重新加入集群
汪灵骅的博客
04-07 488
node 2, , has a disk HB, but no network HB, DHB has rcfg 220023549,wrtcnt gipchaLowerProcessNode: no valid interfaces found to node for 16010 ms [GIPCDMON][4080068352] gipcdMonitorSaveInfMetrics: inf[ 0] eth4 - rank 0, av
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值