clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, but no network HB, DHB has rcfg

最新推荐文章于 2021-04-11 11:47:41 发布
最新推荐文章于 2021-04-11 11:47:41 发布
阅读量5k 收藏
点赞数
分类专栏： oracle 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hellosunqi/article/details/39003697
版权


11gR2 rac 节点二起不来，节点一正常运行，私有内联网络是通的，检查网络配置没有问题



Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production

[grid@rac02 rac02]$ crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager




[grid@rac02 rac02]$ crsctl stat res -t -init
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.asm
      1        OFFLINE OFFLINE                                                   
ora.cluster_interconnect.haip
      1        ONLINE  OFFLINE                                                   
ora.crf
      1        ONLINE  ONLINE       rac02                                       
ora.crsd
      1        OFFLINE OFFLINE                                                   
ora.cssd
      1        ONLINE  OFFLINE                               STARTING            
ora.cssdmonitor
      1        ONLINE  ONLINE       rac02                                       
ora.ctssd
      1        ONLINE  OFFLINE                                                   
ora.diskmon
      1        OFFLINE OFFLINE                                                   
ora.drivers.acfs
      1        OFFLINE OFFLINE                                                   
ora.evmd
      1        OFFLINE OFFLINE                                                   
ora.gipcd
      1        ONLINE  ONLINE       rac02                                       
ora.gpnpd
      1        ONLINE  ONLINE       rac02                                       
ora.mdnsd
      1        ONLINE  ONLINE       rac02  




[grid@rac02 rac02]$ ps -ef |grep d.bin
root      1615     1  0 10:47 ?        00:00:00 /u01/app/11.2.0/grid/bin/cssdmonitor
root      1640     1  0 10:47 ?        00:00:00 /u01/app/11.2.0/grid/bin/cssdagent
grid      1654     1  0 10:47 ?        00:00:01 /u01/app/11.2.0/grid/bin/ocssd.bin
root     29984     1  0 10:16 ?        00:00:03 /u01/app/11.2.0/grid/bin/ohasd.bin reboot
grid     30116     1  0 10:16 ?        00:00:01 /u01/app/11.2.0/grid/bin/oraagent.bin
grid     30130     1  0 10:16 ?        00:00:00 /u01/app/11.2.0/grid/bin/mdnsd.bin
grid     30142     1  0 10:16 ?        00:00:01 /u01/app/11.2.0/grid/bin/gpnpd.bin
root     30154     1  0 10:16 ?        00:00:00 /u01/app/11.2.0/grid/bin/orarootagent.bin
grid     30156     1  0 10:16 ?        00:00:03 /u01/app/11.2.0/grid/bin/gipcd.bin
root     30176     1  0 10:16 ?        00:00:13 /u01/app/11.2.0/grid/bin/osysmond.bin
root     30266     1  0 10:16 ?        00:00:01 /u01/app/11.2.0/grid/bin/ologgerd -m rac01 -r -d /u01/app/11.2.0/grid/crf/db/rac02



alert 日志：

[grid@rac02 rac02]$ tail -50 alertrac02.log
2014-09-01 10:27:01.705
[cssd(30378)]CRS-1605:CSSD 表决文件联机: ORCL:ASMDISK1; 详细资料见 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log。
2014-09-01 10:36:53.571
[/u01/app/11.2.0/grid/bin/cssdagent(30364)]CRS-5818:已中止命令 'start' (对于资源 'ora.cssd')。详细资料见 (:CRSAGF00113:) {0:0:2} (位于 /u01/app/11.2.0/grid/log/rac02/agent/ohasd/oracssdagent_root/oracssdagent_root.log)。
2014-09-01 10:36:53.572
[cssd(30378)]CRS-1656:CSS 守护程序由于致命错误而正在终止; 详细资料见 (:CSSSC00012:) (位于 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log)
2014-09-01 10:36:53.572
[cssd(30378)]CRS-1603:用户已关闭节点 rac02 上的 CSSD。
2014-09-01 10:36:59.095
[ohasd(29984)]CRS-2765:资源 'ora.cssdmonitor' 已失败 (在服务器 'rac02' 上)。
2014-09-01 10:37:02.378
[ohasd(29984)]CRS-2767:没有尝试对 'ora.diskmon' 进行资源状态恢复, 因为其目标状态为 OFFLINE
2014-09-01 10:37:10.738
[cssd(1489)]CRS-1713:CSSD 守护程序已在 clustered 模式下启动
2014-09-01 10:37:16.517
[cssd(1489)]CRS-1707:节点 rac02 (编号为 2) 的租约获取已完成
2014-09-01 10:37:17.813
[cssd(1489)]CRS-1605:CSSD 表决文件联机: ORCL:ASMDISK1; 详细资料见 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log。
2014-09-01 10:47:09.791
[/u01/app/11.2.0/grid/bin/cssdagent(1475)]CRS-5818:已中止命令 'start' (对于资源 'ora.cssd')。详细资料见 (:CRSAGF00113:) {0:0:2} (位于 /u01/app/11.2.0/grid/log/rac02/agent/ohasd/oracssdagent_root/oracssdagent_root.log)。
2014-09-01 10:47:09.792
[cssd(1489)]CRS-1656:CSS 守护程序由于致命错误而正在终止; 详细资料见 (:CSSSC00012:) (位于 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log)
2014-09-01 10:47:09.792
[cssd(1489)]CRS-1603:用户已关闭节点 rac02 上的 CSSD。
2014-09-01 10:47:15.216
[ohasd(29984)]CRS-2765:资源 'ora.cssdmonitor' 已失败 (在服务器 'rac02' 上)。
2014-09-01 10:47:18.491
[ohasd(29984)]CRS-2767:没有尝试对 'ora.diskmon' 进行资源状态恢复, 因为其目标状态为 OFFLINE
2014-09-01 10:47:26.857
[cssd(1654)]CRS-1713:CSSD 守护程序已在 clustered 模式下启动
2014-09-01 10:47:32.667
[cssd(1654)]CRS-1707:节点 rac02 (编号为 2) 的租约获取已完成
2014-09-01 10:47:33.976
[cssd(1654)]CRS-1605:CSSD 表决文件联机: ORCL:ASMDISK1; 详细资料见 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log。
2014-09-01 10:57:25.901
[/u01/app/11.2.0/grid/bin/cssdagent(1640)]CRS-5818:已中止命令 'start' (对于资源 'ora.cssd')。详细资料见 (:CRSAGF00113:) {0:0:2} (位于 /u01/app/11.2.0/grid/log/rac02/agent/ohasd/oracssdagent_root/oracssdagent_root.log)。
2014-09-01 10:57:25.902
[cssd(1654)]CRS-1656:CSS 守护程序由于致命错误而正在终止; 详细资料见 (:CSSSC00012:) (位于 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log)
2014-09-01 10:57:25.902
[cssd(1654)]CRS-1603:用户已关闭节点 rac02 上的 CSSD。
2014-09-01 10:57:31.327
[ohasd(29984)]CRS-2765:资源 'ora.cssdmonitor' 已失败 (在服务器 'rac02' 上)。
2014-09-01 10:57:34.605
[ohasd(29984)]CRS-2767:没有尝试对 'ora.diskmon' 进行资源状态恢复, 因为其目标状态为 OFFLINE
2014-09-01 10:57:42.969
[cssd(1776)]CRS-1713:CSSD 守护程序已在 clustered 模式下启动
2014-09-01 10:57:48.832
[cssd(1776)]CRS-1707:节点 rac02 (编号为 2) 的租约获取已完成
2014-09-01 10:57:50.141
[cssd(1776)]CRS-1605:CSSD 表决文件联机: ORCL:ASMDISK1; 详细资料见 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log。



ocss 日志

[grid@rac02 rac02]$ tail -50 /u01/app/11.2.0/grid/log/rac02/cssd/ocssd.log
2014-09-01 11:02:35.924: [    CSSD][1087342912]clssscSelect: cookie accept request 0x1c2940c0
2014-09-01 11:02:35.924: [    CSSD][1087342912]clssscevtypSHRCON: getting client with cmproc 0x1c2940c0
2014-09-01 11:02:35.924: [    CSSD][1087342912]clssgmRegisterClient: proc(4/0x1c2940c0), client(1/0x1c20d0c0)
2014-09-01 11:02:35.924: [    CSSD][1087342912]clssgmJoinGrock: global grock CRF- new client 0x1c20d0c0 with con 0x3457, requested num -1, flags 0x4000e00
2014-09-01 11:02:35.924: [    CSSD][1087342912]clssgmJoinGrock: ignoring grock join for client not requiring fencing until group information has been received from the master; group name CRF-, member number -1, flags 0x4000e00
2014-09-01 11:02:35.924: [    CSSD][1087342912]clssgmDiscEndpcl: gipcDestroy 0x3457
2014-09-01 11:02:35.925: [    CSSD][1087342912]clssgmDeadProc: proc 0x1c2940c0
2014-09-01 11:02:35.925: [    CSSD][1087342912]clssgmDestroyProc: cleaning up proc(0x1c2940c0) con(0x3428) skgpid  ospid 30176 with 0 clients, refcount 0
2014-09-01 11:02:35.925: [    CSSD][1087342912]clssgmDiscEndpcl: gipcDestroy 0x3428
2014-09-01 11:02:36.765: [    CSSD][1094592832]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0
2014-09-01 11:02:36.888: [    CSSD][1091438912]clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, but no network HB, DHB has rcfg 268948430, wrtcnt, 35431890, LATS 258023324, lastSeqNo 35431889, uniqueness 1408622107, timestamp 1409540520/917853354
2014-09-01 11:02:37.767: [    CSSD][1094592832]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0
2014-09-01 11:02:37.891: [    CSSD][1091438912]clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, but no network HB, DHB has rcfg 268948430, wrtcnt, 35431891, LATS 258024324, lastSeqNo 35431890, uniqueness 1408622107, timestamp 1409540521/917854364
2014-09-01 11:02:38.252: [    CSSD][1109973312]clssnmRcfgMgrThread: Local Join
2014-09-01 11:02:38.252: [    CSSD][1109973312]clssnmLocalJoinEvent: begin on node(2), waittime 193000
2014-09-01 11:02:38.252: [    CSSD][1109973312]clssnmLocalJoinEvent: set curtime (258024684) for my node
2014-09-01 11:02:38.252: [    CSSD][1109973312]clssnmLocalJoinEvent: scanning 32 nodes
2014-09-01 11:02:38.252: [    CSSD][1109973312]clssnmLocalJoinEvent: Node rac01, number 1, is in an existing cluster with disk state 3
2014-09-01 11:02:38.253: [    CSSD][1109973312]clssnmLocalJoinEvent: takeover aborted due to cluster member node found on disk
2014-09-01 11:02:38.253: [    CSSD][1108396352]clssnmSendingThread: sending join msg to all nodes
2014-09-01 11:02:38.253: [    CSSD][1108396352]clssnmSendingThread: sent 4 join msgs to all nodes
2014-09-01 11:02:38.769: [    CSSD][1094592832]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0
2014-09-01 11:02:38.894: [    CSSD][1091438912]clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, but no network HB, DHB has rcfg 268948430, wrtcnt, 35431892, LATS 258025324, lastSeqNo 35431891, uniqueness 1408622107, timestamp 1409540522/917855364
2014-09-01 11:02:39.771: [    CSSD][1094592832]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0
2014-09-01 11:02:39.897: [    CSSD][1091438912]clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, but no network HB, DHB has rcfg 268948430, wrtcnt, 35431893, LATS 258026334, lastSeqNo 35431892, uniqueness 1408622107, timestamp 1409540523/917856364
2014-09-01 11:02:40.773: [    CSSD][1094592832]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0
2014-09-01 11:02:40.899: [    CSSD][1091438912]clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, but no network HB, DHB has rcfg 268948430, wrtcnt, 35431894, LATS 258027334, lastSeqNo 35431893, uniqueness 1408622107, timestamp 1409540524/917857364
2014-09-01 11:02:40.932: [    CSSD][1087342912]clssscSelect: cookie accept request 0x1bebc480
2014-09-01 11:02:40.932: [    CSSD][1087342912]clssgmAllocProc: (0x1c2940c0) allocated
2014-09-01 11:02:40.932: [    CSSD][1087342912]clssgmClientConnectMsg: properties of cmProc 0x1c2940c0 - 1,2,3,4,5
2014-09-01 11:02:40.932: [    CSSD][1087342912]clssgmClientConnectMsg: Connect from con(0x34fe) proc(0x1c2940c0) pid(30176) version 11:2:1:4, properties: 1,2,3,4,5
2014-09-01 11:02:40.932: [    CSSD][1087342912]clssgmClientConnectMsg: msg flags 0x0000
2014-09-01 11:02:40.934: [    CSSD][1087342912]clssscSelect: cookie accept request 0x1c2940c0
2014-09-01 11:02:40.934: [    CSSD][1087342912]clssscevtypSHRCON: getting client with cmproc 0x1c2940c0
2014-09-01 11:02:40.934: [    CSSD][1087342912]clssgmRegisterClient: proc(4/0x1c2940c0), client(1/0x1c20d0c0)
2014-09-01 11:02:40.934: [    CSSD][1087342912]clssgmJoinGrock: global grock CRF- new client 0x1c20d0c0 with con 0x352d, requested num -1, flags 0x4000e00
2014-09-01 11:02:40.934: [    CSSD][1087342912]clssgmJoinGrock: ignoring grock join for client not requiring fencing until group information has been received from the master; group name CRF-, member number -1, flags 0x4000e00
2014-09-01 11:02:40.934: [    CSSD][1087342912]clssgmDiscEndpcl: gipcDestroy 0x352d
2014-09-01 11:02:40.935: [    CSSD][1087342912]clssgmDeadProc: proc 0x1c2940c0
2014-09-01 11:02:40.935: [    CSSD][1087342912]clssgmDestroyProc: cleaning up proc(0x1c2940c0) con(0x34fe) skgpid  ospid 30176 with 0 clients, refcount 0


参考：

http://www.itpub.net/thread-1766984-2-1.html

http://www.itpub.net/thread-1768708-1-1.html

http://www.killdb.com/2014/08/12/haip%e5%bc%82%e5%b8%b8%ef%bc%8c%e5%af%bc%e8%87%b4rac%e8%8a%82%e7%82%b9%e6%97%a0%e6%b3%95%e5%90%af%e5%8a%a8%e7%9a%84%e8%a7%a3%e5%86%b3%e6%96%b9%e6%a1%88.html


重新拔插心跳线，重启crs，解决，应该是oracle的bug，需要打补丁彻底解决，待后续研究




DBA学习记录
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
oracle ocssd.log满了,Oracle RAC CRS无法启动，ocssd.log报错”has a disk HB, but no network HB, DHB“...
weixin_36237278的博客
04-06 671
处理方法核心：围绕心跳网络去排查https://www.cndba.cn/cndba/Breath/article/2315https://www.cndba.cn/cndba/Breath/article/2315https://www.cndba.cn/cndba/Breath/article/2315背景：两节点RAC，节点二异常宕机，重启后无法启动CRS节点一：[root@breath01...
node1 has a disk HB，but no network HB
csub31890的博客
11-03 2311
硬件环境：IBM服务器，IBM存储，心跳线通过交换机连接 软件环境：RAConenode 11.2.0.3 故障描述：客户更换机柜PDU，导致交换机意外掉电，重新拔插后，节点2集群服务出现异常（实例一直在节点1运行），...
Oracle RAC 单节点宕机 has a disk HB, but no network HB
曾经是个DBA
04-08 6111
故障描述： 由于心跳网络出现问题，2号结点服务器被强制重启。重启之后2号结点上的haip丢失，haip服务无法启动，导致2号结点的asm实例和db实例均无法启动。 crs log里出校大量类似 2014-08-0914:21:51.057: [    CSSD][3358]clssnmvDHBValidateNCopy: node 1, rac01, has a disk HB, bu
Oracle CRS 不能启动，日志报错： "has a disk HB, but no network HB, DHB has rcfg..."
我思，故我在！--My data life
08-06 8528
现象： --查看crs状态 #/u01/app/11.2.0/grid/bin/crsctl check crs CRS-4638: Oracle High Availability Services is online CRS-4535: Cannot communicate with Cluster Ready Services CRS-4530: Communications fa
详解Linux平台 Oracle 10gR2（10.2.0.5）RAC安装 Part1：准备工作
01-19
Linux平台 Oracle 10gR2（10.2.0.5）RAC安装 Part1：准备工作，具体如下： 环境：OEL 5.7 + Oracle 10.2.0.5 RAC 1.实施前准备工作  1.1 服务器安装操作系统  1.2 Oracle安装介质  1.3 共享存储规划  1.4 网络...
《IT名人堂：大话Oracle RAC集群、高可用性、备份与恢复》PDF版本下载.txt
07-17
《IT名人堂：大话Oracle RAC集群、高可用性、备份与恢复》PDF版本下载
Oracle10RAC培训1.ppt
最新发布
11-12
Oracle RAC 的集群术语包括 Cluster、Node、Instance、OCR（Oracle Cluster Registry）、Voting Disk、CSSD（Cluster Synchronization Service Daemon）、CRSD（Cluster Ready Service Daemon）等。 Oracle RAC ...
官方资料：Oracle Database 12c R1 RAC on IBM AIX Tips and Considerations.pdf
06-22
single instance database or Oracle Database 12c Release 1Real Application Cluster (RAC) on the IBM AIX® operating system.
oracle has a disk HB, but no network HB, DHB has r cfg , wrtcnt
06-23 867
“oracle node 1, rac0101, has a disk HB, but no network HB, DHB has r cfg , wrtcnt” db突然停止运行 alert.log Archiv...
has a disk hb,but no network hb
11-29 452
http://www.itpub.net/thread-1766984-1-1.html ...
Oracle RAC 11.2.0.3 节点CRS无法启动报：no network hb 故障解决方法
qyq88888的专栏
05-18 2702
软件版本：oracle rac 11.2.0.3，补丁打到最新11.2.0.3.5 故障现象：Oracle双节点组成RAC，RAC软件安装在节点1上；运行一段时间后，节点2日志报“网络通信故障”长时间无法与节点1通信，而被踢出集群。经尝试各种方法反复重试，无法在节点2上启动CRS服务，其中，每次启动CRS服务时，命令./crsctl stat res -t -init 查看发现ora.cssd长
oracle rac问题处理,oracle RAC 故障处理一例
weixin_35339134的博客
04-03 545
环境AIX6.1.7，oracle11gR2.ocssd文件中一直报错误信息：2012-11-22 09:57:14.701: [ CSSD][2577]clssnmvDHBValidateNCopy: node 1, itsmdb1, has a disk HB, but no network HB, DHB has rcfg 248973026, wrtcnt, 66143, LATS ...
rac 启动其中一个node_HAIP异常,导致RAC节点无法启动的解决方案
weixin_39692253的博客
12-19 338
2014-08-0914:21:46.094:[CSSD][5414]clssnmSendingThread:sent4joinmsgstoallnodes2014-08-0914:21:46.421:[CSSD][4900]clssgmWaitOnEventValue:afterCmInfoStateval3,eval1waited0s2014-08-0914:21:47.042...
oracle ocssd.log满了,RAC ocssd日志has a disk HB, but no network HB
weixin_36074841的博客
04-06 580
[oracle@vrh8 ~]$ grep -i network ocssd.log2013-12-09 19:10:58.065: [GIPCXCPT][48039680] gipchaInternalReadGpnp: No network info configured in GPNP, using defaults, ret gipcretFail (1)2013-12-09 19:11:...
Oracle RAC心跳机制
Lissen_Gan的博客
02-25 3590
1、网络心跳(Network HeartBeat,NHB)        首先是确定集群节点之间的连通性，以便节点之间能够了解彼此的状态，而对于Oracle集群，这是通过节点间的网络心跳来实现的。对于Oracle集群，ocssd.bin守护进程每秒钟向集群的其他节点发送网络心跳（当然是通过集群的私网）。 [root@lissen...
苹果双系统运行oracle失败,oracle 11gR2 RAC for linux x86_64 grid运行root.sh 失败问题处理...
weixin_42478292的博客
04-11 166
昨天一个朋友问到我，在oracle 11gR2 RAC for linux x86_64安装过程中，grid用户运行root.sh在第一节点可以成功，但在第二节点不成功,报错如下：CRS-2674: Start of 'ora.cssd' on 'racnode2' failedCRS-2679: Attempting to clean 'ora.cssd' on 'racnode2'CRS-26...
RAC11gR2Grid启动顺序及启动故障诊断思路
babymouse1212的博客
05-06 5623
【Oracle】RAC11gR2Grid启动顺序及启动故障诊断思路 转自：http://www.2cto.com/database/201605/507269.html 从11gR2开始，Oracle RAC的架构有了比较大的变化，集群层面相交于之前的版本有了比较大的变动，原来的rac架构基本上属于cssd、c
HAIP异常，导致RAC节点无法启动的解决方案
m0_38048955的博客
03-31 1405
一个网友咨询一个问题，他的11.2.0.2 RAC(for Aix),没有安装任何patch或PSU。其中一个节点重启之后无法正常启动，查看ocssd日志如下： 1 -08-09 14:21:46.094: [ CSSD][5414]clssnmSendingThread: sent 4 join msgs to all nodes-08-09 14:21:46.421: [ CSSD][4900]clssgmWaitOnEventValue: after CmInfo State val

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值