ERROR: The LVM time stamp for shared volume group: datavg is inconsistent

昨天中午接到用户电话（之前用户机房曾异常断电），说是有套IBM 570下的RAC起不来了，远程登上去看了一下，简单处理了一下，其中一个节点可以正常启动HA ORACLE；
另外一个节点，启动HA后DATAVG先启动正常，显示
hdiskpower0     00f6c6d393cde2cd                    datavg          concurrent
hdiskpower1     00f6c6d393cf633e                    datavg          concurrent
hdiskpower2     00f6c6d393cb881e                    datavg          concurrent
hdiskpower3     00f6c6d393ce1cd4                    datavg          concurrent
hdiskpower4     00f6c6d393c19815                    archvg          active
hdiskpower5     00f6c6d393c668ef                    None            
hdiskpower6     00f6c6d393cea4d1                    hbvg            
hdiskpower7     00f6c6d375c6bb30                    None            
hdiskpower8     00f6c6d3bee80bcf                    datavg          concurrent
hdisk38         none                                None            
hdisk39         none                                None            
hdisk40         none                                None            
hdisk41         none                                None            
hdiskpower9     00f6c6d3a5f78ff0                    datavg          concurrent
hdisk42         none                                None            
hdisk43         none                                None            
hdisk44         none                                None            
hdisk45         none                                None            
hdiskpower10    00f6c6d3ca9ea6d1                    datavg          concurrent
hdisk46         none                                None            
hdisk47         none                                None            
hdisk48         none                                None            
hdisk49         none                                None            
hdiskpower11    00f6c6d3f5059263                    datavg          concurrent

之后就自动停掉
发现暂时无法把两个节点都起来。由于下午还要跑业务临时单节点先用着吧。
之后用户又说WEBLOGIC连接库有问题，有时能连有时不能连。
再次远程检查发现是连接数过多，达到了，数据库设置的process 4000上限。
晚上9点多在家里继续远程
发现启动HA时报

ERROR: The LVM time stamp for shared volume group: datavg is inconsistent

with the time stamp in the VGDA for the following nodes:

db03 db04

Starting Corrective Action: cl_resource_modify_vg_time_stamp.

Would you like to update VG: datavg timestamp on

node(s): db03 db04 for resource group: rg_db_0304 [Yes / No]:YES
回答YES，结果还是只有一边能启动。
把HA停掉手动在有问题的节点varyonvg 
db03:[/]# lsvg -p datavg
datavg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdiskpower0       active            1598        0           00..00..00..00..00
hdiskpower1       active            1598        8           00..00..00..00..08
hdiskpower3       active            1598        0           00..00..00..00..00
hdiskpower2       active            1598        0           00..00..00..00..00
hdiskpower9       active            798         0           00..00..00..00..00
hdiskpower8       active            1598        12          00..00..00..00..12
hdiskpower10      missing           798         94          00..00..00..00..94
hdiskpower11      missing           798         270         00..00..00..110..160
居然有两块盘PV STATE是missing
再看正常的那个节点，
db04:[/]# lsvg -p datavg
datavg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdiskpower0       active            1598        0           00..00..00..00..00
hdiskpower1       active            1598        8           00..00..00..00..08
hdiskpower3       active            1598        0           00..00..00..00..00
hdiskpower2       active            1598        0           00..00..00..00..00
hdiskpower9       active            798         0           00..00..00..00..00
hdiskpower8       active            1598        12          00..00..00..00..12
hdiskpower10      active            798         94          00..00..00..00..94
hdiskpower11      active            798         270         00..00..00..110..160
都正常
把有问题的一边的卷组
db03:[/]# exportvg datavg
db03:[/]# importvg -y datavg hdiskpower0
之后手动同步HA
启动正常了。
用户说再重启一下系统测试一下吧，好吧！重启
经过漫长打等待系统终于重启完成，启动HA，等了一会儿，还是有问题的03节点卷组自动DOWN掉。
在好的节点04做了一下HA同步，再起HA，起RAC一切正常。
好就这样吧，由于是远程，而且这个机器也不在我们维保范围内，就先这样吧！

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/527318/viewspace-1074137/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/527318/viewspace-1074137/