诊断 Grid Infrastructure 启动问题 (文档 ID 1623340.1)

诊断 Grid Infrastructure 启动问题 (文档 ID 1623340.1)

文档内容 用途   适用范围   详细信息   启动顺序：   集群状态   问题 1: OHASD 无法启动   问题 2: OHASD Agents  未启动   问题 3: OCSSD.BIN 无法启动   问题 4: CRSD.BIN 无法启动   问题 5: GPNPD.BIN 无法启动   问题 6: 其它的一些守护进程无法启动   问题 7: CRSD Agents 无法启动   问题 8: HAIP 无法启动   网络和域名解析的验证   日志文件位置, 属主和权限   在 Grid Infrastructure 的环境中:   在 Oracle Restart 的环境中:   网络socket文件的位置，属主和权限   在 Grid Infrastructure cluster 环境中:   在 Oracle Restart 环境中:   诊断文件收集   参考 适用于: Oracle Database - Enterprise Edition - 版本 11.2.0.1 和更高版本 本文档所含信息适用于所有平台 用途 本文提供了诊断 11GR2 和 12C Grid Infrastructure 启动问题的方法。对于新安装的环境（root.sh 和 rootupgrade.sh 执行过程中）和有故障的旧环境都适用。针对 root.sh 的问题，我们可以参考 note 1053970.1 来获取更多的信息。 适用范围 本文适用于集群/RAC数据库管理员和 Oracle 支持工程师。 详细信息 启动顺序： 简而言之，操作系统负责启动 ohasd 进程，ohasd 进程启动 agents 用来启动守护进程(gipcd, mdnsd, gpnpd, ctssd, ocssd, crsd, evmd ,asm …) ，crsd 启动 agents 用来启动用户资源(database,SCAN,Listener 等)。 如果需要了解更详细的 Grid Infrastructure Cluster 启动顺序，请参阅 note 1053147.1。 集群状态 查询集群和守护进程的状态: $GRID_HOME/bin/crsctl check crs CRS-4638: Oracle High Availability Services is online CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online $GRID_HOME/bin/crsctl stat res -t -init -------------------------------------------------------------------------------- NAME           TARGET  STATE        SERVER                   STATE_DETAILS -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ora.asm       1        ONLINE  ONLINE       rac1                  Started ora.crsd       1        ONLINE  ONLINE       rac1 ora.cssd       1        ONLINE  ONLINE       rac1 ora.cssdmonitor       1        ONLINE  ONLINE       rac1 ora.ctssd       1        ONLINE  ONLINE       rac1                  OBSERVER ora.diskmon       1        ONLINE  ONLINE       rac1 ora.drivers.acfs       1        ONLINE  ONLINE       rac1 ora.evmd       1        ONLINE  ONLINE       rac1 ora.gipcd       1        ONLINE  ONLINE       rac1 ora.gpnpd       1        ONLINE  ONLINE       rac1 ora.mdnsd       1        ONLINE  ONLINE       rac1 对于11.2.0.2 和以上的版本，会有以下两个额外的进程： ora.cluster_interconnect.haip       1        ONLINE  ONLINE       rac1 ora.crf       1        ONLINE  ONLINE       rac1 对于11.2.0.3 以上的非EXADATA的系统，ora.diskmon会处于offline的状态，如下： ora.diskmon       1        OFFLINE  OFFLINE       rac1 对于 12c 以上的版本, 会出现ora.storage资源： ora.storage 1 ONLINE ONLINE racnode1 STABLE 如果守护进程 offline 我们可以通过以下命令启动: $GRID_HOME/bin/crsctl start res ora.crsd -init 问题 1: OHASD 无法启动 由于 ohasd.bin 的责任是直接或者间接的启动集群所有的其它进程，所以只有这个进程正常启动了，其它的进程才能起来，如果 ohasd.bin 的进程没有起来，当我们检查资源状态的时候会报错 CRS-4639 (Could not contact Oracle High Availability Services); 如果 ohasd.bin 已经启动了，而再次尝试启时，错误 CRS-4640 会出现；如果它启动失败了，那么我们会看到以下的错误信息： CRS-4124: Oracle High Availability Services startup failed. CRS-4000: Command Start failed, or completed with errors. 自动启动 ohasd.bin 依赖于以下的配置： 1. 操作系统配置了正确的 run level: OS 需要在 CRS 启动之前设置成指定的 run level 来确保 CRS 的正常启动。 我们可以通过以下方式找到 CRS 需要 OS 设置的 run level： cat /etc/inittab|grep init.ohasd h1: 35:respawn:/etc/init.d/init.ohasd run >/dev/null 2>&1 </dev/null 以上例子展示了，CRS 需要 OS 运行在 run level 3 或 5；请注意，由于操作系统的不同，CRS 启动需要的 OS 的 run level 也会不同。 找到当前 OS 正在运行的 run level: who -r 2. "init.ohasd run" 启动 在 Linux/Unix 平台上，由于"init.ohasd run" 是配置在 /etc/inittab中，进程 init（进程id 1，linux，Solars和HP-UX上为/sbin/init ，Aix上为/usr/sbin/init）会启动并且产生"init.ohasd run"进程，如果这个过程失败了，就不会有"init.ohasd run"的启动和运行，ohasd.bin 也是无法启动的： ps -ef|grep init.ohasd|grep -v grep root      2279     1  0 18:14 ?        00:00:00 /bin/sh /etc/init.d/init.ohasd run 注意：Oracle Linux (OL6)以及 Red Hat Linux 6 (RHEL6) 已经不再支持 inittab 了，所以 init.ohasd 会被配置在 /etc/init 中，并被 /etc/init 启动，尽管如此，我们还是应该能看到进程 "/etc/init.d/init.ohasd run" 被启动； 如果任何 rc Snncommand 的脚本（在 rcn.d 中，如 S98gcstartup）在启动的过程中挂死，此时 init 的进程可能无法启动"/etc/init.d/init.ohasd run"；您需要寻求 OS 厂商的帮助，找到为什么 Snncommand 脚本挂死或者无法正常启动的原因； 错误"[ohasd(<pid>)] CRS-0715:Oracle High Availability Service has timed out waiting for init.ohasd to be started." 可能会在 init.ohasd 无法在指定时间内启动后出现   如果系统管理员无法在短期内找到 init.ohasd 无法启动的原因，以下办法可以作为一个临时的解决办法：  cd <location-of-init.ohasd>  nohup ./init.ohasd run & 3. Clusterware 自动启动；--自动启动默认是开启的 默认情况下 CRS 自动启动是开启的，我们可以通过以下方式开启： $GRID_HOME/bin/crsctl enable crs 检查这个功能是否被开启: $GRID_HOME/bin/crsctl config crs 如果以下信息被输出在OS的日志中 Feb 29 16:20:36 racnode1 logger: Oracle Cluster Ready Services startup disabled. Feb 29 16:20:36 racnode1 logger: Could not access /var/opt/oracle/scls_scr/racnode1/root/ohasdstr 原因是由于这个文件不存在或者不可访问，产生这个问题的原因一般是人为的修改或者是打 GI 补丁的过程中使用了错误的 opatch (如：使用 Solaris 平台上的 opatch 在 Linux 上打补丁) 4. syslogd 启动并且 OS 能够执行 init 脚本 S96ohasd 节点启动之后，OS 可能停滞在一些其它的 Snn 的脚本上，所以可能没有机会执行到脚本 S96ohasd；如果是这种情况，我们不会在 OS 日志中看到以下信息 Jan 20 20:46:51 rac1 logger: Oracle HA daemon is enabled for autostart. 如果在 OS 日志里看不到上面的信息，还有一种可能是 syslogd（(/usr/sbin/syslogd）没有被完全启动。GRID 在这种情况下也是无法正常启动的，这种情况不适用于 AIX 的平台。 为了了解 OS 启动之后是否能够执行 S96ohasd 脚本，可以按照以下的方法修改该脚本： From:     case `$CAT $AUTOSTARTFILE` in       enable*)         $LOGERR "Oracle HA daemon is enabled for autostart." To:     case `$CAT $AUTOSTARTFILE` in       enable*)         /bin/touch /tmp/ohasd.start."`date`"         $LOGERR "Oracle HA daemon is enabled for autostart." 重启节点后，如果您没有看到文件 /tmp/ohasd.start.timestamp 被创建，那么就是说 OS 停滞在其它的 Snn 的脚本上。如果您能看到 /tmp/ohasd.start.timestamp 生成了，但是"Oracle HA daemon is enabled for autostart"没有写入到messages 文件里，就是 syslogd 没有被完全启动了。以上的两种情况，您都需要寻求系统管理员的帮助，从 OS 的层面找到问题的原因，对于后一种情况，有个临时的解决办法是“休眠”2分钟， 按照以下的方法修改 ohasd 脚本： From:     case `$CAT $AUTOSTARTFILE` in       enable*)         $LOGERR "Oracle HA daemon is enabled for autostart." To:     case `$CAT $AUTOSTARTFILE` in       enable*)         /bin/sleep 120         $LOGERR "Oracle HA daemon is enabled for autostart." 5. GRID_HOME 所在的文件系统在执行初始化脚本 S96ohasd 的时候在线；正常情况下一旦 S96ohasd 执行结束，我们会在 OS message 里看到以下信息： Jan 20 20:46:51 rac1 logger: Oracle HA daemon is enabled for autostart. .. Jan 20 20:46:57 rac1 logger: exec /ocw/grid/perl/bin/perl -I/ocw/grid/perl/lib /ocw/grid/bin/crswrapexece.pl /ocw/grid/crs/install/s_crsconfig_rac1_env.txt /ocw/grid/bin/ohasd.bin "reboot" 如果您只看到了第一行，没有看到最后一行的信息，很可能是 GRID_HOME 所在的文件系统在脚本 S96ohasd 执行的时候还没有正常挂载。 6. Oracle Local Registry  (OLR, $GRID_HOME/cdata/${HOSTNAME}.olr) 有效并可以正常读写 ls -l $GRID_HOME/cdata/*.olr -rw------- 1 root  oinstall  272756736 Feb  2 18:20 rac1.olr 如果 OLR 是不可读写的或者损坏的，我们会在 ohasd.log 中看到以下的相关信息 .. 2010-01-24 22:59:10.470: [ default][ 1373676464] Initializing OLR 2010-01-24 22:59:10.472: [  OCROSD][ 1373676464]utopen:6m':failed in stat OCR file/disk /ocw/grid/cdata/rac1.olr, errno=2, os err string=No such file or directory 2010-01-24 22:59:10.472: [  OCROSD][ 1373676464]utopen:7:failed to open any OCR file/disk, errno=2, os err string=No such file or directory 2010-01-24 22:59:10.473: [  OCRRAW][ 1373676464]proprinit: Could not open raw device 2010-01-24 22:59:10.473: [  OCRAPI][ 1373676464]a_init:16!: Backend init unsuccessful : [26] 2010-01-24 22:59:10.473: [  CRSOCR][ 1373676464] OCR context init failure.  Error: PROCL-26: Error while accessing the physical storage Operating System error [No such file or directory] [2] 2010-01-24 22:59:10.473: [ default][