一次盘阵down掉导致的oracle rac失败总结(原)

最新推荐文章于 2021-04-14 11:04:23 发布
最新推荐文章于 2021-04-14 11:04:23 发布
阅读量192 收藏
点赞数
文章标签： 数据库

环境：ORACLE10g RAC + ASM +AIX

节点:192.168.5.15, 192.168.5.16

前天同事说数据库不能启动了，让我去查看下，我用crs_stat 发现 db02(16)机器online,db01主节点offline了。然后我用crs_stop –all关闭，然后又crs_start -all重启了下，出现说没有资源resource没有或者failed的信息，这个信息原来我没有见过，信息上还显示是vip失败，我查看了下ip，发现db01点的vip没有了。Db02节点还正常。于是就用aix的命令（smitty mkinetvi）配置了虚拟ip,又进行了关闭和重启crs，发现还是原来的问题。….后来找了1个多小时，最后lspv的时候，发现原来的pv没有了,少了4个pv，晕！！！！分区不见了。这怎么能启动数据库？然后跑到机房，看看是不是光纤卡，或者光线被谁给碰掉了， 结果正常。用IBM400的盘柜软件连上盘柜，查看盘柜信息，出现了警告灯，说什么“逻辑路径”错误，看来确实是盘柜的问题。联系存储厂商，后来来了工程师，检查了下，并搞定了。怎么搞定的，他也没有说什么，就是把光纤交换机重启了下，光纤卡又插了插，就搞定了。不知道怎么回事。

       今天，同事给我说分区有了，我用lspv看了下，呵呵~ 分区都回来了。从2到9都是裸设备，没有pvid.

# lspv

hdisk0          00cc85bf3d2db424                    rootvg          active

hdisk1          00cc85bf404044eb                    rootvg          active

hdisk2          none                                None

hdisk3          none                                None

hdisk4          none                                None

hdisk5          none                                None

hdisk6          none                                None

hdisk7          none                                None

hdisk8          none                                None

hdisk9          none                                None

hdisk10         none                                None

hdisk11         none                                None

hdisk12         00cc85bf8266c2a8                    datavg          active

#

然后，crs_start –all启动服务，出现如下错误：

ash-3.00$ crs_start -all

Attempting to start `ora.db01.vip` on member `db01`

Attempting to start `ora.db02.vip` on member `db02`

Start of `ora.db02.vip` on member `db02` succeeded.

Attempting to start `ora.db02.ASM2.asm` on member `db02`

Start of `ora.db01.vip` on member `db01` failed.

Attempting to start `ora.db01.vip` on member `db02`

Start of `ora.db01.vip` on member `db02` succeeded.

db02 : CRS-1019: Resource ora.db01.ASM1.asm (application) cannot run on db02

db02 : CRS-1019: Resource ora.db01.ASM1.asm (application) cannot run on db02

db02 : CRS-1019: Resource ora.db01.LISTENER_DB01.lsnr (application) cannot run

n db02

db02 : CRS-1019: Resource ora.db01.ASM1.asm (application) cannot run on db02

Start of `ora.db02.ASM2.asm` on member `db02` succeeded.

Attempting to start `ora.GASDB.GASDB2.inst` on member `db02`

Start of `ora.GASDB.GASDB2.inst` on member `db02` succeeded.

Attempting to start `ora.db02.LISTENER_DB02.lsnr` on member `db02`

Start of `ora.db02.LISTENER_DB02.lsnr` on member `db02` succeeded.

Attempting to start `ora.racdb.racdb2.inst` on member `db02`

Start of `ora.racdb.racdb2.inst` on member `db02` succeeded.

CRS-1002: Resource 'ora.db02.ons' is already running on member 'db02'

CRS-1002: Resource 'ora.GASDB.db' is already running on member 'db01'

Attempting to start `ora.db01.gsd` on member `db01`

Attempting to start `ora.db01.ons` on member `db01`

Attempting to start `ora.db02.gsd` on member `db02`

Attempting to start `ora.racdb.db` on member `db01`

Start of `ora.racdb.db` on member `db01` succeeded.

Start of `ora.db01.gsd` on member `db01` succeeded.

Start of `ora.db02.gsd` on member `db02` succeeded.

Start of `ora.db01.ons` on member `db01` succeeded.

CRS-0223: Resource 'ora.GASDB.GASDB1.inst' has placement error.

CRS-0223: Resource 'ora.GASDB.db' has placement error.

CRS-0223: Resource 'ora.db01.ASM1.asm' has placement error.

CRS-0223: Resource 'ora.db01.LISTENER_DB01.lsnr' has placement error.

CRS-0223: Resource 'ora.db02.ons' has placement error.

CRS-0223: Resource 'ora.racdb.racdb1.inst' has placement error.

 

bash-3.00$ crs_stat -t

Name           Type           Target    State     Host

------------------------------------------------------------

ora....B1.inst application    OFFLINE   OFFLINE

ora....B2.inst application    ONLINE    ONLINE    db02

ora.GASDB.db   application    ONLINE    ONLINE    db01

ora....SM1.asm application    OFFLINE   OFFLINE

ora....01.lsnr application    OFFLINE   OFFLINE

ora.db01.gsd   application    ONLINE    ONLINE    db01

ora.db01.ons   application    ONLINE    ONLINE    db01

ora.db01.vip   application    ONLINE    ONLINE    db02

ora....SM2.asm application    ONLINE    ONLINE    db02

ora....02.lsnr application    ONLINE    ONLINE    db02

ora.db02.gsd   application    ONLINE    ONLINE    db02

ora.db02.ons   application    ONLINE    ONLINE    db02

ora.db02.vip   application    ONLINE    ONLINE    db02

ora.racdb.db   application    ONLINE    ONLINE    db01

ora....b1.inst application    OFFLINE   OFFLINE

ora....b2.inst application    ONLINE    ONLINE    db02

看来还是VIP错误。是不是我虚拟IP配错了。Db02节点的vip没有问题，看下db02的ip吧,一看之下，果然配错了。

--15

bash-3.00# ifconfig -a

en0: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 192.168.5.15 netmask 0xffffff00 broadcast 192.168.5.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

en1: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 10.168.5.15 netmask 0xff000000 broadcast 10.255.255.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

vi0: flags=84000041

        inet 192.168.5.17 netmask 0xffffff00

lo0: flags=e08084b

> 

        inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

        inet6 ::1/0

         tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

--16

bash-3.00# ifconfig -a

en0: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 192.168.5.16 netmask 0xffffff00 broadcast 192.168.5.255

        inet 192.168.5.18 netmask 0xffffff00 broadcast 192.168.5.255

        inet 192.168.5.17 netmask 0xffffff00 broadcast 192.168.5.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

en1: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 10.168.5.16 netmask 0xff000000 broadcast 10.255.255.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

lo0: flags=e08084b

> 

        inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

        inet6 ::1/0

         tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

 

后来又google了些解决方法。都没有找到一个如何解决的步骤。不过我想既然还是vip的问题，就解决ip问题就ok了。

解决步骤如下：

1. ----ping db01, db02, db01_vip, db02_vip均能ping通

 

2. ----停止racdb数据库服务

bash-3.00$ crs_stop ora.racdb.db

Attempting to stop `ora.racdb.db` on member `db01`

Stop of `ora.racdb.db` on member `db01` succeeded.

 

3.----用srvctl启动db01节点，出现如下信息

bash-3.00$ srvctl start nodeapps -n db01

db01:ora.db01.vip:IP:192.168.5.17 is not configured as alias (host=db01)

db01:ora.db01.vip:IP:192.168.5.17 is not configured as alias (host=db01)

CRS-0215: Could not start resource 'ora.db01.LISTENER_DB01.lsnr'.

 

4. ---检查crs

bash-3.00$ crsctl check crs

CSS appears healthy

CRS appears healthy

EVM appears healthy

 

5. ---检查vip

crs_stat -p ora.db01.vip

 

6. ---关闭所有服务

#crs_stop -all

 

7. ---删除db01的虚拟vi0, 添加en0的ip别名

#ifconfig vi0 192.168.5.17 delete

 

8. ---删除db02的虚拟en0的17ip

#ifconfig vi0 192.168.5.17 delete

 

9. ---2节点执行ifconfig -a 查看ip

--15

# ifconfig -a

en0: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 192.168.5.15 netmask 0xffffff00 broadcast 192.168.5.255

        inet 192.168.5.17 netmask 0xffffff00 broadcast 192.168.5.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

en1: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 10.168.5.15 netmask 0xff000000 broadcast 10.255.255.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

vi0: flags=84000041

lo0: flags=e08084b

> 

        inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

        inet6 ::1/0

         tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

--16

bash-3.00# ifconfig -a

en0: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 192.168.5.16 netmask 0xffffff00 broadcast 192.168.5.255

        inet 192.168.5.18 netmask 0xffffff00 broadcast 192.168.5.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

en1: flags=5e080863,c0

,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>

        inet 10.168.5.16 netmask 0xff000000 broadcast 10.255.255.255

         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

vi0: flags=84000000<64BIT>

lo0: flags=e08084b

> 

        inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

        inet6 ::1/0

         tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

10. ---重启服务

#crs_start –all

bash-3.00$ crs_stat -t

Name           Type           Target    State     Host

------------------------------------------------------------

ora....B1.inst application    ONLINE    ONLINE    db01

ora....B2.inst application    ONLINE    ONLINE    db02

ora.GASDB.db   application    ONLINE    ONLINE    db01

ora....SM1.asm application    ONLINE    ONLINE    db01

ora....01.lsnr application    ONLINE    ONLINE    db01

ora.db01.gsd   application    ONLINE    ONLINE    db01

ora.db01.ons   application    ONLINE    ONLINE    db01

ora.db01.vip   application    ONLINE    ONLINE    db01

ora....SM2.asm application    ONLINE    ONLINE    db02

ora....02.lsnr application    ONLINE    ONLINE    db02

ora.db02.gsd   application    ONLINE    ONLINE    db02

ora.db02.ons   application    ONLINE    ONLINE    db02

ora.db02.vip   application    ONLINE    ONLINE    db02

ora.racdb.db   application    ONLINE    ONLINE    db01

ora....b1.inst application    ONLINE    ONLINE    db01

ora....b2.inst application    ONLINE    ONLINE    db02

最后解决OK!!!! 通过这次问题，其实主要要掌握RAC中的体系及概念还是很重要的，了解和掌握了这些，就能看到问题所在，并解决。

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/3090/viewspace-672035/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/3090/viewspace-672035/

cpard3852987
关注
oracle rac 分区要求,RAC基础设施部署方案
weixin_39731807的博客
04-05 1393
明白要做的事情有多少(一定要看),总体图整体的分图如下：插入一个我们经常烦恼头疼的图片废话不说，开始正文RAC基础设施部署方案一、前期准备或规划：1、IP地址和VLAN划分一套RAC服务需要有两台物理机主机，每台物理主机各有一个内网远程访问地址、心跳地址、或scan IP地址，两台物理主机共同拥有的VIP地址，共计5个或7个IP地址。如下访问远程IP地址：每台各一个；如172.17.1.2内网地址...
oracle rac偶尔连不上,Oracle RAC客户端连接不稳定的解决方法
weixin_42519781的博客
04-13 652
Oracle RAC安装完毕后，监听、tnsname.ora按照Oracle默认配置好后，在服务器端用sqlplus连接没有问题，但是用客户端连接，会出现有时候连不上的错误，解决方法：1、修改监听文件，增加SID_LIST_LISTENER，两台机器都要修改，修改完毕后如下：LISTENER_ORCL1 =(DESCRIPTION_LIST =(DESCRIPTION =(ADDRESS_LIST...
Oracle RAC ASM磁盘组故障解决办法
03-01
ORACLE RAC 磁盘无法mount，集群服务无法启动解决方案。
Oracle宕机案例汇总(一)
ckth47350的博客
09-23 379
Oracle宕机案例汇总(一) 案例一：UNDO坏块导致 Oracle 无法 Open ...
oracle参考盘阵路径,(转)Oracle RAC 日志 存放路径总结
weixin_28706397的博客
04-08 170
在Oracle RAC环境中，对集群中的日志的定期检查是必不可少的。通过查看集群日志，可以早期定位集群环境中出现的问题，以便将问题消灭在萌芽状态。简单介绍一下有关Oracle集群环境中日志的结构，方便快速查找所需的日志文件。rac日志主要位于“$ORA_CRS_HOME/log”和“$ORACLE_HOME/log”目录中1.Oracle集群日志藏匿之处Oracle集群涉及的日志主要位于“$ORA...
【生产篇】如何防止RAC环境下ASM自动脱落
db_murphy的博客
10-08 428
一、异常报错 最近在安装RAC 12c的过程，配置ASM阶段发生如下错误。 KFOD-00313: No ASM instances available. CSS group services were successfully initilized by kgxgncin KFOD-00105: Could not open pfile ‘init@.ora’ 百思不得其解，经各种查阅资料，终于...
PRKP-1001 CRS-1028 CRS-0223: Resource 'ora.RACDB.RACDB1.inst' has placement error解决办法
congfei8606的博客
05-24 397
Correcting our RAC problemWe have seen the CRS commands and syntax, now lets look at the practical aspect of it. I...
数据库oracle rac 修改db_unique_name参数
02-14
这是因为在某些情况下，rac 集群的一个节点按原 db_unique_name 开启状态，而另一个节点按新的 db_unique_name 启动冲突报错。 9. 修改 spfile_name 最后，我们可以修改 spfile_name，以便更方便地管理数据库： ...
oracle rac 部署方案,RAC基础设施部署方案
weixin_35677144的博客
04-13 2332
明白要做的事情有多少(一定要看),总体图整体的分图如下：插入一个我们经常烦恼头疼的图片废话不说，开始正文RAC基础设施部署方案一、前期准备或规划：1、IP地址和VLAN划分一套RAC服务需要有两台物理机主机，每台物理主机各有一个内网远程访问地址、心跳地址、或scan IP地址，两台物理主机共同拥有的VIP地址，共计5个或7个IP地址。如下访问远程IP地址：每台各一个；如172.17.1.2内网地址...
rac san+oracle_oracle rac理解和用途扩展
weixin_29227425的博客
01-14 1065
Oracle RAC的优势在于利用多个节点(数据库实例)组成一个数据库，这样在保证了数据库高可用性的情况下更充分的利用了多个主机的性能，而且可以通过增加节点进行性能的扩展。实现Oracle RAC需要解决的关键问题就是多节点进行数据访问时如何保证数据的一致性，Oracle是通过各节点间的私有连接进行内存融合(cache fusion)来保证各节点数据访问的一致性。用一个例子来解释一下内存融合的过程...
解决因ocr资源状态为unknown导致CRS-0223
congdiku5262的博客
05-04 344
OS: Linux 2.6.9-89DB: 2节点RAC 10205症状：第一个instance无法启动，justin5077.$ srvctl start instance -d PRE030 -i PR...
crs_start -all的时候遇到CRS-1028，CRS-0223错误
kingsonl的专栏
09-23 1023
crs_start -all的时候遇到CRS-1028，CRS-0223错误 2008-10-28 16:51平台：RHEL4.5 X86 32bit，Oracle10.2.0.1 EE，Clusterware10.2.0.1，RAC环境 运行 crs_start -all 的时候，报以下类似错误： [oracle@rac1 ~]$ crs_start -all CRS-1028:
CRS-0223: Resource 'ora.host2.gsd' has placement error.
徐长亮的专栏
02-19 3693
[oracle@host1 ~]$ srvctl start nodeapps -n host2 CRS-1028: Dependency analysis failed because of: CRS-0223: Resource 'ora.host2.gsd' has placement error. 出现placement error这个问题的原因，主要是资源占用，也就是说两个实例资源出现在同一个节点上，导致另外一个节点得不到需要得资源
CRS-1028&CRS-0223错误的解决
conglueh193642的博客
02-20 336
两台做RAC的NT服务器突然宕机(断电)。重启服务器后，开始启动rac的相关服务。但出现报错，错误信息如下： $ srvctl start nodeapps -n node1 CRS...
oracle集群crs,oracle rac集群 crs常用命令（转）
weixin_34439836的博客
04-14 452
from：常用的crs命令如下：$ORA_CRS_HOME/bin/crs_stat –t此命令主要用来检查crs资源状态例如[oracle@rac2 css]$ $ORA_CRS_HOME/bin/crs_stat -tName Type Target State Host------------------------------------------------------------or...
eth0网卡异常导致rac vip资源offline
weeknd的博客
04-14 1799
技术反馈无法通过sql developer,pl/sql developer等第三方工具连接到远程的数据库，可以通过sqlplus进入到命令交互窗口，且db正常running。查看资源状态，发现远程连接的VIP和LSNR资源异常，处于offline的状态。 客户截图如下 可以看到vip和lsnr资源都挂掉 因为lsnr依赖于vip。当vip异常，lsnr自然也会异常，
PRCR-1079 : 无法启动资源 ora.orcl.db ORA-03113: end-of-file on communication channel
jingleli21的博客
05-25 7794
[grid@rac2 ~]$ srvctl start database -d orcl PRCR-1079 : 无法启动资源 ora.orcl.db CRS-5017: The resource action "ora.orcl.db start" encountered the following error: ORA-03113: end-of-file on communicat
Oracle RAC ASM磁盘(diskgroup)丢失，显示OFFLINE的问题
sunny05296的博客
08-04 3341
集群状态显示OFFLINE [grid@rac1 ~]$ crs_stat -t Name Type Target State Host ------------------------------------------------------------ ora.ARCH.dg ora....up.type OFFLINE OFFLINE ora.DATA.dg ora....up.typ...
ajins12@a1812s005.autoexpr.com: Permission denied (publickey,password).
最新发布
07-27
这个错误信息表示在尝试使用公钥进行身份验证时被拒绝了。通常，这是由于以下几个原因之一引起的： 1. 公钥未正确配置：请确保你的公钥已正确添加到目标主机的`~/.ssh/authorized_keys`文件中。你可以使用`cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys`命令将公钥添加到该文件中。 2. 权限问题：请确保`~/.ssh`目录的权限设置为700，`~/.ssh/authorized_keys`文件的权限设置为600。你可以使用`chmod 700 ~/.ssh`和`chmod 600 ~/.ssh/authorized_keys`命令来设置权限。 3. 密钥类型不匹配：请确保你使用的密钥类型与目标主机所要求的密钥类型相匹配。你可以使用`ssh-keygen -t rsa`或`ssh-keygen -t dsa`命令生成相应类型的密钥。 4. 密码错误：如果你在生成密钥时设置了密码，那么在使用密钥进行身份验证时需要输入该密码。请确保你输入的密码是正确的。 请检查以上几点，并根据需要进行相应的调整。如果问题仍然存在，请提供更多详细信息以便我能够更好地帮助你解决问题。 #### 引用[.reference_title] - *1* *3* [【转】虚拟机VMware安装OracleRAC.环境综述](https://blog.csdn.net/cuijianli8434/article/details/100461622)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [虚拟机VMware安装OracleRAC.环境综述](https://blog.csdn.net/liwei_cmg/article/details/2217587)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值