11gR2 硬件导致重新添加节点

http://blog.csdn.net/wuweilong/article/details/53897208

一、环境描述：

         这是一套五年前部署的双节点单柜11g RAC，当时操作系统盘是一块164g的单盘，没有做RAID。

       OS: RedHat EnterPrise 5.5 x86_x64

       GI : Oracle Grid Infrastructure 11.2.0.3x86_x64

       DB: Oracle Database EnterPrise 11.2.0.3x86_64

 

 二、问题现象：

         在12月24日的时候用户发现节点一主机名为oradb1数据库服务器操作系统键盘鼠标无响应，随即强行重启了数据库服务器。重启后发现服务器无法正常进入操作系统提示需要fsck –A 或 fsck –f 修复文件系统。实际上在两个月之前也遇到了此问题，当时就采取了fsck命令进行修复。两个月后的现在再次出现相同的问题。

 

三、问题分析：

        从问题现象来看可以判断是节点一因为硬盘坏道(硬件故障)导致的操作体系不可用。

 

四、问题处理思路：

        更换故障节点oradb1服务器硬盘并重装系统，重装GI软件和DB软件，基本步骤如下：

1、 重新更换故障节点oradb1服务器两块硬盘并作RAID1，避免操作系统硬盘单点故障。

2、 重新安装故障节点oradb1操作系统，配置网络信息，环境变量，认存储。

3、 删除现存节点oradb2中的故障节点oradb1集群信息，更新ocr和voting。

4、 在现存节点中删除故障节点oradb1实例信息。

5、 配置新节点和现存节点的互信。

6、 部署新节点集群软件，将新节点添加至现存节点中。

7、 部署新节点的数据库软件，将新节点添加至现存节点中。

8、 检查节点状态，测试新节点和老节点的可用性，切换测试。

 

五、操作步骤：

   5.1重新更换oradb1服务器硬盘重做RAID：略
   5.2更换故障服务器oradb1硬盘重装系统：略
   5.3在现存节点oradb2中删除故障节点oradb1的集群信息：

 

登陆到现存节点二：

[python]  view plain  copy

1. prudentwoos-MacBook-Pro:/ prudentwoo$ ssh root@172.27.90.159  
2. The authenticity of host '172.27.90.159 (172.27.90.159)' can't be established.  
3. RSA key fingerprint is SHA256:M6s9wKplA6iMgmtDwb2bVAMFPRrMh7b5KmahvwF1BNo.  
4. Are you sure you want to continue connecting (yes/no)? yes  
5. Warning: Permanently added '172.27.90.159' (RSA) to the list of known hosts.  
6. root@172.27.90.159's password:   
7. Last login: Thu Dec 22 22:03:10 2016  

六、确认节点状态：

        6.1实例状态：

[python]  view plain  copy

1. [root@oradb2 bin]# ./srvctl status database -d tjtvdb  
2. 实例 tjtvdb1 没有在 oradb1 节点上运行  
3. 实例 tjtvdb2 正在节点 oradb2 上运行  

      6.2 节点信息状态：

[python]  view plain  copy

1. [root@oradb2 bin]# ./srvctl status nodeapps  
2. VIP oradb1-vip 已启用  
3. VIP oradb1-vip 正在节点上运行: oradb2  
4. VIP oradb2-vip 已启用  
5. VIP oradb2-vip 正在节点上运行: oradb2  
6. 网络已启用  
7. 网络未在节点上运行: oradb1  
8. 网络正在节点上运行: oradb2  
9. GSD 已禁用  
10. GSD 没有运行的节点: oradb1  
11. GSD 没有运行的节点: oradb2  
12. ONS 已启用  
13. ONS 守护程序未在节点上运行:oradb1  
14. ONS 守护程序正在节点上运行:oradb2  

       6.3 CRS状态

[python]  view plain  copy

1. [root@oradb2 bin]# ./crsctl check crs  
2. CRS-4638: Oracle High Availability Services is online  
3. CRS-4537: Cluster Ready Services is online  
4. CRS-4529: Cluster Synchronization Services is online  
5. CRS-4533: Event Manager is online  

      6.4 unpin 故障节点：

[python]  view plain  copy

1. [root@oradb2 bin]# ./olsnodes -t -s  
2. oradb1  Inactive    Unpinned  
3. oradb2  Active          Unpinned  

       6.5 查看实例活动状态:

[python]  view plain  copy

1. [root@oradb2 bin]# su - oracle -c "sqlplus / as sysdba"  
2.   
3. SQL*Plus: Release 11.2.0.3.0 Production on Sat Dec 24 17:50:00 2016  
4. Copyright (c) 1982, 2011, Oracle.  All rights reserved.  
5.   
6. ???:   
7. Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production  
8. With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP,  
9. Data Mining and Real Application Testing options  
10.   
11. SQL> col instance format a15  
12. SQL> select thread#,status,instance from v$thread  
13.   
14.    THREAD# STATUS INSTANCE  
15. ---------- ------ ---------------  
16.      1 CLOSED tjtvdb1  
17.      2 OPEN   tjtvdb2  
18.   
19. SQL>  
20.   
21. SQL> select instance_name,status from gv$instance;  
22.   
23. INSTANCE_NAME    STATUS  
24. ---------------- ------------  
25. tjtvdb2      OPEN   
26.   
27. SQL>   

七、正式开始删除故障节点一：

       7.1 unpin故障节点：

[python]  view plain  copy

1. [root@oradb2 bin]# ./crsctl unpin css -n oradb1  

      7.2 删除数据库

[Silent]

[python]  view plain  copy

1. [oracle@db02 bin]$ dbca -silent -deleteInstance -nodeList oradb1 -gdbName TJTVDB - instanceName labdb11 -sysDBAUserName sys -sysDBAPassword oracle  

[DBCA]

 

这一步一定要选择实例管理后再选择删除实例，千瓦不能选择删除数据库，否则就废了。

至此，实例已经删除完毕。

     7.3 查看删除后的实例信息：

[sql]  view plain  copy

1. SQL> col instance format a15  
2. SQL> select thread#,status,instance from v$thread  
3.   
4.    THREAD# STATUS INSTANCE  
5. ---------- ------ ---------------  
6.      2 OPEN   tjtvdb2  
7.   
8. SQL> select instance_name,status from gv$instance;  
9.   
10. INSTANCE_NAME    STATUS  
11. ---------------- ------------  
12. tjtvdb2      OPEN  

       7.4 查看数据库情况：

[python]  view plain  copy

1. [root@oradb2 bin]# ./srvctl config database -d tjtvdb  
2. 数据库唯一名称: tjtvdb  
3. 数据库名: tjtvdb  
4. Oracle 主目录: /opt/app/oracle/product/11.2.0/dbhome_1  
5. Oracle 用户: oracle  
6. Spfile: +DATAVOL1/tjtvdb/spfiletjtvdb.ora  
7. 域:   
8. 启动选项: open  
9. 停止选项: immediate  
10. 数据库角色: PRIMARY  
11. 管理策略: AUTOMATIC  
12. 服务器池: tjtvdb  
13. 数据库实例: tjtvdb2  
14. 磁盘组: DATAVOL1,FRAVOL1  
15. 装载点路径:   
16. 服务:   
17. 类型: RAC  
18. 数据库是管理员管理的  

八、停用节点一的监听并删除

[python]  view plain  copy

1. [root@oradb2 bin]# ./srvctl config listener -a  
2. 名称: LISTENER  
3. 网络: 1, 所有者: grid  
4. 主目录: <CRS home>  
5. PRCN-2037 : 无法检索 LISTENER 的 Oracle 主目录  
6. PRCR-1097 : 找不到资源属性: ORACLE_HOME  
7.   
8. [root@oradb2 bin]#./srvctl disable listener -l listener -n oradb01   
9. [root@oradb2 bin]# ./srvctl stop listener -l listener -n oradb1  
10. PRCC-1017 : LISTENER 已在 oradb1 上停止  
11. PRCR-1005 : 资源 ora.LISTENER.lsnr 已停止  

九、用Oracle用户更新现存节点oradb2的集群列表：

[python]  view plain  copy

1. [oracle@oradb2 bin]$ $ORACLE_HOME/oui/bin/runInstaller -updateNodeList ORACLE_HOME=/opt/app/oracle/product/11.2.0/dbhome_1 "CLUSTER_NODES={oradb2}"  
2. 正在启动 Oracle Universal Installer...  
3.   
4. 检查交换空间: 必须大于 500 MB。   实际为 2920 MB    通过  
5. The inventory pointer is located at /etc/oraInst.loc  
6. The inventory is located at /opt/app/oraInventory  
7. 'UpdateNodeList' 成功。  

备注：

ORACLE_HOME=$ORACLE_HOME 如果不写完整路径将会导致更新失败，如果更新失败可以尝试如下操作：

--因为oradb1 已经不存在了，所以手工编辑下oradb2的oraInventory删除节点一的信息：

[python]  view plain  copy

1. [oracle@oradb2 ~]$ cat /opt/app/oraInventory/ContentsXML/inventory.xml   
2. <?xml version="1.0" standalone="yes" ?>  
3. <!-- Copyright (c) 1999, 2011, Oracle. All rights reserved. -->  
4. <!-- Do not modify the contents of this file by hand. -->  
5. <INVENTORY>  
6. <VERSION_INFO>  
7.    <SAVED_WITH>11.2.0.3.0</SAVED_WITH>  
8.    <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>  
9. </VERSION_INFO>  
10. <HOME_LIST>  
11. <HOME NAME="Ora11g_gridinfrahome1" LOC="/opt/app/11.2.0/grid" TYPE="O" IDX="1" CRS="true">  
12.    <NODE_LIST>  
13.       <NODE NAME="oradb1"/>  
14.       <NODE NAME="oradb2"/>  
15.    </NODE_LIST>  
16. </HOME>  
17. <HOME NAME="OraDb11g_home1" LOC="/opt/app/oracle/product/11.2.0/dbhome_1" TYPE="O" IDX="2">  
18.    <NODE_LIST>  
19.       <NODE NAME="oradb1"/>  
20.       <NODE NAME="oradb2"/>  
21.    </NODE_LIST>  
22. </HOME>  
23. </HOME_LIST>  
24. <COMPOSITEHOME_LIST>  
25. </COMPOSITEHOME_LIST>  
26. </INVENTORY>  
27.   
28.   
29. 删除如上所有节点一的信息,修改为如下：  
30. [oracle@oradb2 ~]$ cat /opt/app/oraInventory/ContentsXML/inventory.xml   
31. <?xml version="1.0" standalone="yes" ?>  
32. <!-- Copyright (c) 1999, 2011, Oracle. All rights reserved. -->  
33. <!-- Do not modify the contents of this file by hand. -->  
34. <INVENTORY>  
35. <VERSION_INFO>  
36.    <SAVED_WITH>11.2.0.3.0</SAVED_WITH>  
37.    <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>  
38. </VERSION_INFO>  
39. <HOME_LIST>  
40. <HOME NAME="Ora11g_gridinfrahome1" LOC="/opt/app/11.2.0/grid" TYPE="O" IDX="1" CRS="true">  
41.    <NODE_LIST>  
42.       <NODE NAME="oradb2"/>  
43.    </NODE_LIST>  
44. </HOME>  
45. <HOME NAME="OraDb11g_home1" LOC="/opt/app/oracle/product/11.2.0/dbhome_1" TYPE="O" IDX="2">  
46.    <NODE_LIST>  
47.       <NODE NAME="oradb2"/>  
48.    </NODE_LIST>  
49. </HOME>  
50. </HOME_LIST>  
51. <COMPOSITEHOME_LIST>  
52. </COMPOSITEHOME_LIST>  
53. </INVENTORY>  

九、删除故障节点VIP:

     #查看vip信息：

[python]  view plain  copy

1. [root@oradb2 bin]# ./crsctl status res -t |grep oradb1  
2. ora.oradb1.vip  
3. [root@oradb2 bin]# ./crs_stat -t |grep oradb1  
4. ora.oradb1.vip ora....t1.type ONLINE    ONLINE    oradb2        

    #停止vip：

[python]  view plain  copy

1. [root@oradb2 bin]# ./crs_stop -f ora.oradb1.vip  
2. Attempting to stop `ora.oradb1.vip` on member `oradb2`  
3. Stop of `ora.oradb1.vip` on member `oradb2` succeeded.  
4. [root@oradb2 bin]# ./crs_stat -t |grep oradb1  
5. ora.oradb1.vip ora....t1.type OFFLINE   OFFLINE                 

    #删除vip

[python]  view plain  copy

1. [root@oradb2 bin]# ./srvctl remove vip -i ora.oradb1.vip -f  
2. PRKO-2313 : VIP ora.oradb1.vip 不存在。  
3. [root@oradb2 bin]#  ./crsctl delete resource ora.oradb1.vip -f  
4. [root@oradb2 bin]# ./crs_stat -t |grep oradb1  

十、删除故障节点：

     #查看节点信息

[python]  view plain  copy

1. [root@oradb2 bin]# ./olsnodes -t -s  
2. oradb1  Inactive    Unpinned  
3. oradb2  Active  Unpinned  

     #删除故障节点

[python]  view plain  copy

1. [root@oradb2 bin]# ./crsctl delete node -n oradb1  
2. CRS-4661: Node oradb1 successfully deleted.  

     #查看删除后的故障节点信息

[python]  view plain  copy

1. [root@oradb2 bin]# ./olsnodes -t -s  
2. oradb2  Active  Unpinned  

十一、验证节点是否已被删除：

   #cluvfy验证

[python]  view plain  copy

1. [grid@oradb2 ~]$ cluvfy stage -post nodedel -n oradb1  
2.   
3. 执行 删除节点 的后期检查  
4. 正在检查 CRS 完整性...  
5. 集群件版本一致性测试已通过  
6. CRS 完整性检查已通过  
7. 删除节点检查通过  
8. 删除节点 的后期检查成功。  

     #crs_stat 验证

[python]  view plain  copy

1. [grid@oradb2 ~]$ crs_stat -t  
2. Name           Type           Target    State     Host          
3. ------------------------------------------------------------  
4. ora.DATACRS.dg ora....up.type ONLINE    ONLINE    oradb2        
5. ora....VOL1.dg ora....up.type ONLINE    ONLINE    oradb2        
6. ora.FRAVOL1.dg ora....up.type ONLINE    ONLINE    oradb2        
7. ora....ER.lsnr ora....er.type ONLINE    ONLINE    oradb2        
8. ora....N1.lsnr ora....er.type ONLINE    ONLINE    oradb2        
9. ora.asm        ora.asm.type   ONLINE    ONLINE    oradb2        
10. ora.cvu        ora.cvu.type   ONLINE    ONLINE    oradb2        
11. ora.gsd        ora.gsd.type   OFFLINE   OFFLINE                 
12. ora....network ora....rk.type ONLINE    ONLINE    oradb2        
13. ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    oradb2        
14. ora.ons        ora.ons.type   ONLINE    ONLINE    oradb2        
15. ora....SM2.asm application    ONLINE    ONLINE    oradb2        
16. ora....B2.lsnr application    ONLINE    ONLINE    oradb2        
17. ora.oradb2.gsd application    OFFLINE   OFFLINE                 
18. ora.oradb2.ons application    ONLINE    ONLINE    oradb2        
19. ora.oradb2.vip ora....t1.type ONLINE    ONLINE    oradb2        
20. ora....ry.acfs ora....fs.type ONLINE    ONLINE    oradb2        
21. ora.scan1.vip  ora....ip.type ONLINE    ONLINE    oradb2        
22. ora.tjtvdb.db  ora....se.type ONLINE    ONLINE    oradb2        

[python]  view plain  copy

1. [grid@oradb2 ~]$ crsctl status res -t  
2. --------------------------------------------------------------------------------  
3. NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
4. --------------------------------------------------------------------------------  
5. Local Resources  
6. --------------------------------------------------------------------------------  
7. ora.DATACRS.dg  
8.                ONLINE  ONLINE       oradb2                                         
9. ora.DATAVOL1.dg  
10.                ONLINE  ONLINE       oradb2                                         
11. ora.FRAVOL1.dg  
12.                ONLINE  ONLINE       oradb2                                         
13. ora.LISTENER.lsnr  
14.                ONLINE  ONLINE       oradb2                                         
15. ora.asm  
16.                ONLINE  ONLINE       oradb2                   Started               
17. ora.gsd  
18.                OFFLINE OFFLINE      oradb2                                         
19. ora.net1.network  
20.                ONLINE  ONLINE       oradb2                                         
21. ora.ons  
22.                ONLINE  ONLINE       oradb2                                         
23. ora.registry.acfs  
24.                ONLINE  ONLINE       oradb2                                         
25. --------------------------------------------------------------------------------  
26. Cluster Resources  
27. --------------------------------------------------------------------------------  
28. ora.LISTENER_SCAN1.lsnr  
29.       1        ONLINE  ONLINE       oradb2                                         
30. ora.cvu  
31.       1        ONLINE  ONLINE       oradb2                                         
32. ora.oc4j  
33.       1        ONLINE  ONLINE       oradb2                                         
34. ora.oradb2.vip  
35.       1        ONLINE  ONLINE       oradb2                                         
36. ora.scan1.vip  
37.       1        ONLINE  ONLINE       oradb2                                         
38. ora.tjtvdb.db  
39.       2        ONLINE  ONLINE       oradb2                   Open                  

[python]  view plain  copy

1. SQL> select thread#,status,instance from v$thread  
2.   
3.    THREAD# STATUS INSTANCE  
4. ---------- ------ --------------------  
5.      2 OPEN   tjtvdb2  

[python]  view plain  copy

1. [root@oradb2 bin]# ./srvctl status database -d tjtvdb  
2. 实例 tjtvdb2 正在节点 oradb2 上运行  
3.   
4. [root@oradb2 bin]# ./srvctl status nodeapps  
5. VIP oradb2-vip 已启用  
6. VIP oradb2-vip 正在节点上运行: oradb2  
7. 网络已启用  
8. 网络正在节点上运行: oradb2  
9. GSD 已禁用  
10. GSD 没有运行的节点: oradb2  
11. ONS 已启用  
12. ONS 守护程序正在节点上运行:oradb2  

第二部分：将节点一添加至RAC

十二、在服务器节点一oradb1上创建用户及用户组:

    #查看oradb2的uid和gid：

[python]  view plain  copy

1. [root@oradb2 ~]# id oracle  
2. uid=1101(oracle) gid=1000(oinstall) groups=1000(oinstall),1201(asmdba),1300(dba),1301(oper)  
3.   
4. [root@oradb2 ~]# id grid  
5. uid=1100(grid) gid=1000(oinstall) groups=1000(oinstall),1200(asmadmin),1201(asmdba),1202(asmoper)  

   #参照节点二的信息在节点一上创建用户和组

[python]  view plain  copy

1. [root@oradb1 ~]# groupadd -g 1000 oinstall  
2. [root@oradb1 ~]# groupadd -g 1300 dba  
3. [root@oradb1 ~]# groupadd -g 1301 oper  
4. [root@oradb1 ~]# groupadd -g 1200 asmadmin  
5. [root@oradb1 ~]# groupadd -g 1201 asmdba  
6. [root@oradb1 ~]# groupadd -g 1202 asmoper  
7. [root@oradb1 ~]# useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper grid  
8. [root@oradb1 ~]# useradd -u 1101 -g oinstall -G asmdba,dba,oper oracle  
9. [root@oradb1 ~]# id oracle  
10. uid=1101(oracle) gid=1000(oinstall) groups=1000(oinstall),1300(dba),1301(oper),1201(asmdba)  
11.   
12. [root@oradb1 ~]# id grid  
13. uid=1100(grid) gid=1000(oinstall) groups=1000(oinstall),1200(asmadmin),1201(asmdba),1202(asmoper)  
14.   
15. [root@oradb1 ~]# passwd oracle  
16. Changing password for user oracle.  
17. New UNIX password:   
18. BAD PASSWORD: it is based on a dictionary word  
19. Retype new UNIX password:   
20. passwd: all authentication tokens updated successfully.  
21.   
22. [root@oradb1 ~]# passwd grid  
23. Changing password for user grid.  
24. New UNIX password:   
25. BAD PASSWORD: it is based on a dictionary word  
26. Retype new UNIX password:   
27. passwd: all authentication tokens updated successfully.  

十三、修改oracle/grid用户.bash_profile文件并创建相应的目录:

[python]  view plain  copy

1. [root@oradb1 ~]# chown -R oracle:oinstall /home/oracle/.bash_profile   
2. [root@oradb1 ~]# chown -R grid:oinstall /home/oracle/.bash_profile   
3.   
4. [oracle@oradb1 ~]# vi .bash_profile   
5. [grid@oradb1 ~]# vi .bash_profile  
6.   
7. [root@oradb1 ~]# mkdir -p /opt/app/grid  
8. [root@oradb1 ~]# mkdir -p /opt/app/11.2.0/grid  
9. [root@oradb1 ~]# mkdir -p /opt/app/oracle/product/11.2.0/dbhome_1  
10.   
11. [root@oradb1 ~]# chown -R grid:oinstall /opt  
12. [root@oradb1 ~]# chown -R oracle:oinstall /opt/app/oracle  

十四、#配置ssh信任关系

oracle:

[python]  view plain  copy

1. ssh-keygen -t rsa  
2. ssh-keygen -t dsa  
3. ssh oradb1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
4. scp ~/.ssh/authorized_keys ayu2:~/.ssh/authorized_keys  

oradb1:

[python]  view plain  copy

1. [oracle@oradb1 ~]$ ssh-keygen -t rsa  
2. Generating public/private rsa key pair.  
3. Enter file in which to save the key (/home/oracle/.ssh/id_rsa):   
4. Created directory '/home/oracle/.ssh'.  
5. Enter passphrase (empty for no passphrase):   
6. Enter same passphrase again:   
7. Your identification has been saved in /home/oracle/.ssh/id_rsa.  
8. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.  
9. The key fingerprint is:  
10. 63:f5:c5:66:ae:37:6b:ca:79:2b:2e:52:a7:1c:da:99 oracle@oradb1  
11.   
12. [oracle@oradb1 ~]$ ssh-keygen -t dsa  
13. Generating public/private dsa key pair.  
14. Enter file in which to save the key (/home/oracle/.ssh/id_dsa):   
15. Enter passphrase (empty for no passphrase):   
16. Enter same passphrase again:   
17. Your identification has been saved in /home/oracle/.ssh/id_dsa.  
18. Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.  
19. The key fingerprint is:  
20. 41:87:12:2a:3b:1f:62:ad:0b:c4:b9:b7:a6:d0:52:1b oracle@oradb1  
21.   
22. [oracle@oradb1 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys  
23. [oracle@oradb1 ~]$ cat .ssh/id_dsa.pub >> .ssh/authorized_keys  

oradb2:

[python]  view plain  copy

1. [oracle@oradb2 ~]$ ssh-keygen -t rsa  
2. Generating public/private rsa key pair.  
3. Enter file in which to save the key (/home/oracle/.ssh/id_rsa):   
4. Created directory '/home/oracle/.ssh'.  
5. Enter passphrase (empty for no passphrase):   
6. Enter same passphrase again:   
7. Your identification has been saved in /home/oracle/.ssh/id_rsa.  
8. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.  
9. The key fingerprint is:  
10. 8a:33:96:c0:8f:b8:5e:0d:84:05:d9:9d:02:ce:6b:b7 oracle@oradb2  
11.   
12. [oracle@oradb2 ~]$ ssh-keygen -t dsa  
13. Generating public/private dsa key pair.  
14. Enter file in which to save the key (/home/oracle/.ssh/id_dsa):   
15. Enter passphrase (empty for no passphrase):   
16. Enter same passphrase again:   
17. Your identification has been saved in /home/oracle/.ssh/id_dsa.  
18. Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.  
19. The key fingerprint is:  
20. 1d:e3:75:60:b7:df:a4:00:1b:b7:27:03:4a:ae:c4:10 oracle@oradb2  
21.   
22. [oracle@oradb2 ~]$ scp oradb1:/home/oracle/.ssh/authorized_keys .ssh/  
23. The authenticity of host 'oradb1 (172.27.90.158)' can't be established.  
24. RSA key fingerprint is e4:98:0f:bd:d8:5e:7c:d2:d8:bf:20:05:d3:34:c8:8e.  
25. Are you sure you want to continue connecting (yes/no)? yes  
26. Warning: Permanently added 'oradb1,172.27.90.158' (RSA) to the list of known hosts.  
27. oracle@oradb1's password:   
28. authorized_keys                                                                                        100%  998     1.0KB/s   00:00      
29.   
30. [oracle@oradb2 ~]$ ll .ssh/authorized_keys   
31. -rw-r--r-- 1 oracle oinstall 998 12-24 21:10 .ssh/authorized_keys  
32.   
33. [oracle@oradb2 ~]$ cat .ssh/authorized_keys   
34. ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA7ccTcH0c8vnqec0E3BZZTkWQWv6m/lQmePMHAFyw4+d3yWNPdEBJ9u0rOu5J81dJ53IDijLxQ1ivG6M6/WXIJ42e9PY4iFHXQZ7jk38dS6dBR4mYpl9EXPYlfgEInXTBazRbVU0HhlH0AyArVuSwYORy/7Hjr9QUQlV4RyGUaBuLxnvXSxErSjBtDsLGt6/RW5/PKQiBkglxmqOMl1F6XqaS6pQElcR2LPwaBQwqF8HpwL/wPwJS26B+04jZyzepZLgvzlbT9Obcdi7WBTkAAkXhY3l3Pgbf+XS3juf5tCw2RJmWRtBMa6DM8yIbuiLx3jE54GbcnXbs1zOyAoMOMQ== oracle@oradb1  
35. ssh-dss AAAAB3NzaC1kc3MAAACBANLZ+KFhZtKYlfEp+x/dhCcS6lnHdED4nWRFC25InQy6kKWRStOolzMWH130F6tb2kIefokyMBEXeMY1kjiJrtQkGXx4nBxs6vCb/JJkkhoNPnPNwYNT9ZanHn0l04ujjGfLWNCHEir4kWpXR5hfARVju6yuIxcaWWN4P5T6BQzVAAAAFQCntH+h1HzejTbJ0XeIDPBX5JPHvwAAAIB481LOeg9qYgKSctIUsE8TsvyjUF3lzy8M4PuaJQ0NUMZ/lR9Es+Ui/o+rI1l6nMg1ssTVznONSXEAG5W+tsXhaOuL9JbFJ8yo25FpZbU8kHMMqsstEseT7uroKN41KfT0gt+TonBN2s2OWBD2txrGt6X/W03fxw6EJnX3qSUxKQAAAIApERIbelwdGGTfNH4yuwybxnLTGF2SRDczPnZlQwJg0sL6EhMy3fUdu0ITPC9BVxAcgvlHARIdryh0B43BvEPkXZe4Mbx6FiHKXNBxBV9Qd0m5x8rvAj8P2X6rEtTVOK4arumRHp63alxSFA7A5pkZwxRS4ry1QQ/b+HoMvdzQjA== oracle@oradb1  
36.   
37. [oracle@oradb2 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys  
38. [oracle@oradb2 ~]$ cat .ssh/id_dsa.pub >> .ssh/authorized_keys  
39. [oracle@oradb2 ~]$ cat .ssh/authorized_keys   
40. ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA7ccTcH0c8vnqec0E3BZZTkWQWv6m/lQmePMHAFyw4+d3yWNPdEBJ9u0rOu5J81dJ53IDijLxQ1ivG6M6/WXIJ42e9PY4iFHXQZ7jk38dS6dBR4mYpl9EXPYlfgEInXTBazRbVU0HhlH0AyArVuSwYORy/7Hjr9QUQlV4RyGUaBuLxnvXSxErSjBtDsLGt6/RW5/PKQiBkglxmqOMl1F6XqaS6pQElcR2LPwaBQwqF8HpwL/wPwJS26B+04jZyzepZLgvzlbT9Obcdi7WBTkAAkXhY3l3Pgbf+XS3juf5tCw2RJmWRtBMa6DM8yIbuiLx3jE54GbcnXbs1zOyAoMOMQ== oracle@oradb1  
41. ssh-dss AAAAB3NzaC1kc3MAAACBANLZ+KFhZtKYlfEp+x/dhCcS6lnHdED4nWRFC25InQy6kKWRStOolzMWH130F6tb2kIefokyMBEXeMY1kjiJrtQkGXx4nBxs6vCb/JJkkhoNPnPNwYNT9ZanHn0l04ujjGfLWNCHEir4kWpXR5hfARVju6yuIxcaWWN4P5T6BQzVAAAAFQCntH+h1HzejTbJ0XeIDPBX5JPHvwAAAIB481LOeg9qYgKSctIUsE8TsvyjUF3lzy8M4PuaJQ0NUMZ/lR9Es+Ui/o+rI1l6nMg1ssTVznONSXEAG5W+tsXhaOuL9JbFJ8yo25FpZbU8kHMMqsstEseT7uroKN41KfT0gt+TonBN2s2OWBD2txrGt6X/W03fxw6EJnX3qSUxKQAAAIApERIbelwdGGTfNH4yuwybxnLTGF2SRDczPnZlQwJg0sL6EhMy3fUdu0ITPC9BVxAcgvlHARIdryh0B43BvEPkXZe4Mbx6FiHKXNBxBV9Qd0m5x8rvAj8P2X6rEtTVOK4arumRHp63alxSFA7A5pkZwxRS4ry1QQ/b+HoMvdzQjA== oracle@oradb1  
42. ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAmOK1TdZ25EsVFStQZsp2HOSmxteB4tBTa2zgDA9d0SX4H5EXcWYIGlb4SY1Abwsl5jVwxn8+Db67VoiO3bpi/JIF/w9IYqKfa4E0POt2UARO2SqDkgGr03N0wcp61njs11w8LnsZ/JY3lwt5oDlyS57jUUmhCtr8PlcGrHPvCgdbJfxfRkDsgiHfzJWQ1/JfvWVYRZuRsNFdzgUozmZlxFuD3KWRiPQGhVHC+q812jIyG8TUYR7XggBh8WGQ31gD++e39VSbbTmCafXz+eCgdoKDdHo/4SNtSMn0aEeMnbnkKUfgi/sixgXnvWM/s/42klIbuDRMbbAvT5eawmE/EQ== oracle@oradb2  
43. ssh-dss AAAAB3NzaC1kc3MAAACBAKe94w7bMo3UOtVcjWppsdAgwRygrZ9cs4TVk1huNdKmuubIDAgmzm0yL+WKWK6+of9zPUiiCh03DAa0nJao3vtME9y/U2FiwNfxNtuS9Rrogrgb2qSvHuu28blfPoVS7pG8vaSlXrUN/zK4NbHawg3Gtinf6qVmYDKJWPxkKJPhAAAAFQDltlsPpYGAdVWEPkUOe8RpwlAe/QAAAIAqwQP3yOAHv5h8mM4WQqxfV/2pKu6qPlg9O1kZboUuHl0VvfATFxmjFoA8SNVyGgl+AzoeNgdck4isJZhP2Sj1+AxD/z+GNwFkmSH1SIaEDAY8mtNTTGioQpkj3vnQRvhd9KqtHQ7+aGrdl3vzbkJCGACeU+g7SANJvnh2dc5h+gAAAIEAjnAk4wOM19HlkAHnKPh0q2kWz+SvsJWnsWNvgf5Gk8vb1OR+G/e1twxhlvFCtF+MLXQQUthNDD80ic3axQQ0juhsS9JVffe4DvNtnVM8Qu1ZKLn7SrE7dJ6ASHaynAXXULZdtyEqVS8LmLIarly3DEByh79B6ZN4w3f/BXAVlKQ= oracle@oradb2  
44.   
45. [oracle@oradb2 ~]$ scp  .ssh/authorized_keys oradb1:/home/oracle/.ssh/  
46. oracle@oradb1's password:   
47. authorized_keys                                                                                        100% 1996     2.0KB/s   00:00      
48. [oracle@oradb2 ~]$ ssh oradb1  
49. Last login: Sat Dec 24 21:31:03 2016  
50.   
51. [oracle@oradb1 ~]$ ssh oradb2  
52. Last login: Sat Dec 24 21:13:54 2016 from oradb1  

grid:

[python]  view plain  copy

1. ssh-keygen -t rsa  
2. ssh-keygen -t dsa  
3. ssh oradb1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
4. scp ~/.ssh/authorized_keys ayu2:~/.ssh/authorized_keys  

grid:

[python]  view plain  copy

1. [grid@oradb1 ~]$ ssh-keygen -t rsa  
2. Generating public/private rsa key pair.  
3. Enter file in which to save the key (/home/grid/.ssh/id_rsa):   
4. Created directory '/home/grid/.ssh'.  
5. Enter passphrase (empty for no passphrase):   
6. Enter same passphrase again:   
7. Your identification has been saved in /home/grid/.ssh/id_rsa.  
8. Your public key has been saved in /home/grid/.ssh/id_rsa.pub.  
9. The key fingerprint is:  
10. a7:62:15:e9:58:b4:a7:6f:c4:33:e9:26:d8:79:4d:ca grid@oradb1  
11.    
12. [grid@oradb1 ~]$ ssh-keygen -t dsa  
13. Generating public/private dsa key pair.  
14. Enter file in which to save the key (/home/grid/.ssh/id_dsa):   
15. Enter passphrase (empty for no passphrase):   
16. Enter same passphrase again:   
17. Your identification has been saved in /home/grid/.ssh/id_dsa.  
18. Your public key has been saved in /home/grid/.ssh/id_dsa.pub.  
19. The key fingerprint is:  
20. 35:f9:d3:24:1c:f9:11:39:03:3a:40:02:55:a4:1b:cf grid@oradb1  
21.   
22. [grid@oradb1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
23. [grid@oradb1 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
24.   
25.   
26. [grid@oradb2 ~]$ rm -rf .ssh/  
27. [grid@oradb2 ~]$ ssh-keygen -t rsa  
28. Generating public/private rsa key pair.  
29. Enter file in which to save the key (/home/grid/.ssh/id_rsa): Created directory '/home/grid/.ssh'.  
30. Enter passphrase (empty for no passphrase):   
31. Enter same passphrase again:   
32. Your identification has been saved in /home/grid/.ssh/id_rsa.  
33. Your public key has been saved in /home/grid/.ssh/id_rsa.pub.  
34. The key fingerprint is:  
35. 3c:6b:a2:d6:95:ff:25:59:9f:88:a2:77:81:07:24:ae grid@oradb2  
36.    
37. [grid@oradb2 ~]$ ssh-keygen -t dsa  
38. Generating public/private dsa key pair.  
39. Enter file in which to save the key (/home/grid/.ssh/id_dsa):   
40. Enter passphrase (empty for no passphrase):   
41. Enter same passphrase again:   
42. Your identification has been saved in /home/grid/.ssh/id_dsa.  
43. Your public key has been saved in /home/grid/.ssh/id_dsa.pub.  
44. The key fingerprint is:  
45. 72:a0:05:67:64:bd:68:bf:8f:a3:3b:ef:59:40:13:89 grid@oradb2  
46.   
47. [grid@oradb2 ~]$ scp oradb1:/home/grid/.ssh/authorized_keys .ssh/  
48. The authenticity of host 'oradb1 (172.27.90.158)' can't be established.  
49. RSA key fingerprint is e4:98:0f:bd:d8:5e:7c:d2:d8:bf:20:05:d3:34:c8:8e.  
50. Are you sure you want to continue connecting (yes/no)? yes  
51. Warning: Permanently added 'oradb1,172.27.90.158' (RSA) to the list of known hosts.  
52. grid@oradb1's password:   
53. authorized_keys                                                                                        100%  994     1.0KB/s   00:00      
54. [grid@oradb2 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys   
55. [grid@oradb2 ~]$ cat .ssh/id_dsa.pub >> .ssh/authorized_keys   
56. [grid@oradb2 ~]$ scp .ssh/authorized_keys oradb1:.ssh/  
57. grid@oradb1's password:   
58. authorized_keys                                                                                 100% 1988     1.9KB/s   00:00    

十五、oradb1安装必须rpm包，略过：

 

十六、安装asmlib包：

[python]  view plain  copy

1. [root@oradb1 asm]# ls -rtl  
2. total 244  
3. -rwxr-xr-x 1 root root  14176 Dec 24 22:13 oracleasmlib-2.0.4-1.el5.x86_64.rpm  
4. -rwxr-xr-x 1 root root  85464 Dec 24 22:16 oracleasm-support-2.1.4-1.el5.i386.rpm  
5. -rw-r--r-- 1 root root 137486 Dec 24 22:39 oracleasm-2.6.18-194.el5-2.0.5-1.el5.x86_64.rpm  
6.    
7. [root@oradb1 asm]# rpm -ivh oracleasm-support-2.1.4-1.el5.i386.rpm   
8. warning: oracleasm-support-2.1.4-1.el5.i386.rpm: Header V3 DSA signature: NOKEY, key ID b38a8516  
9. Preparing...                ########################################### [100%]  
10.    1:oracleasm-support      ########################################### [100%]  
11.   
12. [root@oradb1 asm]# rpm -ivh oracleasm-2.6.18-194.el5-2.0.5-1.el5.x86_64.rpm   
13. warning: oracleasm-2.6.18-194.el5-2.0.5-1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159  
14. Preparing...                ########################################### [100%]  
15.    1:oracleasm-2.6.18-194.el########################################### [100%]  
16.   
17.   
18. [root@oradb1 asm]# rpm -ivh oracleasmlib-2.0.4-1.el5.x86_64.rpm   
19. warning: oracleasmlib-2.0.4-1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159  
20. Preparing...                ########################################### [100%]  
21.    1:oracleasmlib           ########################################### [100%]  
22.   
23. [root@oradb1 asm]# rpm -qa|grep oracleasm  
24. oracleasm-2.6.18-194.el5-2.0.5-1.el5  
25. oracleasmlib-2.0.4-1.el5  
26. oracleasm-support-2.1.4-1.el5  

十七、初始化ASMLib并认盘：

[python]  view plain  copy

1. [root@oradb1 asm]# /etc/init.d/oracleasm configure  
2. Configuring the Oracle ASM library driver.  
3.   
4. This will configure the on-boot properties of the Oracle ASM library  
5. driver.  The following questions will determine whether the driver is  
6. loaded on boot and what permissions it will have.  The current values  
7. will be shown in brackets ('[]').  Hitting <ENTER> without typing an  
8. answer will keep that current value.  Ctrl-C will abort.  
9.   
10. Default user to own the driver interface [grid]:   
11. Default group to own the driver interface [asmadmin]:   
12. Start Oracle ASM library driver on boot (y/n) [y]:   
13. Scan for Oracle ASM disks on boot (y/n) [y]:   
14. Writing Oracle ASM library driver configuration: done  
15. Initializing the Oracle ASMLib driver:                     [  OK  ]  
16. Scanning the system for Oracle ASMLib disks:               [  OK  ]  
17.   
18. [root@oradb1 asm]# /etc/init.d/oracleasm listdisks  
19. CRSVOL1  
20. DATAVOL1  
21. FRAVOL1  
22.   
23. [root@oradb1 ~]# ls -rtl /dev/oracleasm/disks/  
24. total 0  
25. brw-rw---- 1 grid asmadmin 8, 17 Dec 24 22:43 CRSVOL1  
26. brw-rw---- 1 grid asmadmin 8, 33 Dec 24 22:43 DATAVOL1  
27. brw-rw---- 1 grid asmadmin 8, 49 Dec 24 22:43 FRAVOL1  

十八、安装CVUqdisk包：

[python]  view plain  copy

1. [root@oradb1 rpm]# rpm -ivh cvuqdisk-1.0.9-1.rpm   
2. Preparing...                ########################################### [100%]  
3. Using default group oinstall to install package  
4.    1:cvuqdisk               ########################################### [100%]  

十九、cluvfy验证检查部署条件是否满足：

[python]  view plain  copy

1. [grid@oradb2 ~]$ cluvfy stage -post hwos -n oradb1  
2.   
3. 执行 硬件和操作系统设置 的后期检查  
4.   
5. 正在检查节点的可访问性...  
6. 节点 "oradb2" 的节点可访问性检查已通过  
7.   
8.   
9. 正在检查等同用户...  
10. 用户 "grid" 的等同用户检查已通过  
11.   
12. 正在检查节点连接性...  
13.   
14. 正在检查主机配置文件...  
15.   
16. 主机配置文件的验证成功  
17.   
18. 含有节点 oradb1 的子网 "172.27.90.0" 的节点连接性检查已通过  
19. 子网 "172.27.90.0" 的 TCP 连接性检查通过  
20.   
21. 含有节点 oradb1 的子网 "10.10.1.0" 的节点连接性检查已通过  
22. 子网 "10.10.1.0" 的 TCP 连接性检查通过  
23.   
24.   
25. 在子网 "172.27.90.0" 上找到的很可能是用于 VIP 的候选接口的接口为:  
26. oradb1 eth0:172.27.90.158  
27.   
28. 在子网 "10.10.1.0" 上找到的很可能是用于专用互连的候选接口的接口为:  
29. oradb1 eth1:10.10.1.1  
30.   
31. 节点连接性检查已通过  
32.   
33. 正在检查多点传送通信...  
34.   
35. 正在检查子网 "172.27.90.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...  
36. 子网 "172.27.90.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。  
37.   
38. 正在检查子网 "10.10.1.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...  
39. 子网 "10.10.1.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。  
40.   
41. 多点传送通信检查已通过。  
42. 对 UID 值为 0 的多个用户进行的检查已通过  
43. 时区一致性 检查已通过  
44.   
45. 正在检查共享存储的可访问性...  
46.   
47.   Disk                                  共享节点 (1 个)                
48.   ------------------------------------  ------------------------  
49.   /dev/sda                              oradb1                    
50.   
51.   Disk                                  共享节点 (1 个)                
52.   ------------------------------------  ------------------------  
53.   /dev/sdb                              oradb1                    
54.   
55.   Disk                                  共享节点 (1 个)                
56.   ------------------------------------  ------------------------  
57.   /dev/sdc                              oradb1                    
58.   
59.   Disk                                  共享节点 (1 个)                
60.   ------------------------------------  ------------------------  
61.   /dev/sdd                              oradb1                    
62.   
63.   
64. 节点 "oradb1" 上的共享存储检查成功  
65.   
66. 硬件和操作系统设置 的后期检查成功。  

[python]  view plain  copy

1. [grid@oradb2 ~]$ cluvfy stage -post hwos -n oradb1  -verbose  
2.       
3. 执行 硬件和操作系统设置 的后期检查  
4.   
5. 正在检查节点的可访问性...  
6.   
7. 检查: 节点 "oradb2" 的节点可访问性  
8.   目标节点                                  是否可访问?                    
9.   ------------------------------------  ------------------------  
10.   oradb1                                是                         
11. 结果:节点 "oradb2" 的节点可访问性检查已通过  
12.   
13.   
14. 正在检查等同用户...  
15.   
16. 检查: 用户 "grid" 的等同用户  
17.   节点名                                   状态                        
18.   ------------------------------------  ------------------------  
19.   oradb1                                通过                        
20. 结果:用户 "grid" 的等同用户检查已通过  
21.   
22. 正在检查节点连接性...  
23.   
24. 正在检查主机配置文件...  
25.   节点名                                   状态                        
26.   ------------------------------------  ------------------------  
27.   oradb1                                通过                        
28.   
29. 主机配置文件的验证成功  
30.   
31.   
32. 节点 "oradb1" 的接口信息  
33.  名称     IP 地址           子网              网关              默认网关            HW 地址             MTU     
34.  ------ --------------- --------------- --------------- --------------- ----------------- ------  
35.  eth0   172.27.90.158   172.27.90.0     0.0.0.0         172.27.90.254   A4:BA:DB:18:24:AF 1500    
36.  eth1   10.10.1.1       10.10.1.0       0.0.0.0         172.27.90.254   A4:BA:DB:18:24:B1 1500    
37.   
38.   
39. 检查: 子网 "172.27.90.0" 的节点连接性  
40. 结果:含有节点 oradb1 的子网 "172.27.90.0" 的节点连接性检查已通过  
41.   
42.   
43. 检查: 子网 "172.27.90.0" 的 TCP 连接性  
44.   源                               目标                              是否已连接?            
45.   ------------------------------  ------------------------------  ----------------  
46.   oradb2:172.27.90.159            oradb1:172.27.90.158            通过                
47. 结果:子网 "172.27.90.0" 的 TCP 连接性检查通过  
48.   
49.   
50. 检查: 子网 "10.10.1.0" 的节点连接性  
51. 结果:含有节点 oradb1 的子网 "10.10.1.0" 的节点连接性检查已通过  
52.   
53.   
54. 检查: 子网 "10.10.1.0" 的 TCP 连接性  
55.   源                               目标                              是否已连接?            
56.   ------------------------------  ------------------------------  ----------------  
57.   oradb2:172.27.90.159            oradb1:10.10.1.1                通过                
58. 结果:子网 "10.10.1.0" 的 TCP 连接性检查通过  
59.   
60.   
61. 在子网 "172.27.90.0" 上找到的很可能是用于 VIP 的候选接口的接口为:  
62. oradb1 eth0:172.27.90.158  
63.   
64. 在子网 "10.10.1.0" 上找到的很可能是用于专用互连的候选接口的接口为:  
65. oradb1 eth1:10.10.1.1  
66.   
67. 结果:节点连接性检查已通过  
68.   
69. 正在检查多点传送通信...  
70.   
71. 正在检查子网 "172.27.90.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...  
72. 子网 "172.27.90.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。  
73.   
74. 正在检查子网 "10.10.1.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...  
75. 子网 "10.10.1.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。  
76.   
77. 多点传送通信检查已通过。  
78.   
79. 检查 UID 值为 0 的多个用户  
80. 结果:对 UID 值为 0 的多个用户进行的检查已通过  
81. 检查: 时区一致性   
82. 结果:时区一致性 检查已通过  
83.   
84. 正在检查共享存储的可访问性...  
85.   
86.   Disk                                  共享节点 (1 个)                
87.   ------------------------------------  ------------------------  
88.   /dev/sda                              oradb1                    
89.   
90.   Disk                                  共享节点 (1 个)                
91.   ------------------------------------  ------------------------  
92.   /dev/sdb                              oradb1                    
93.   
94.   Disk                                  共享节点 (1 个)                
95.   ------------------------------------  ------------------------  
96.   /dev/sdc                              oradb1                    
97.   
98.   Disk                                  共享节点 (1 个)                
99.   ------------------------------------  ------------------------  
100.   /dev/sdd                              oradb1                    
101.   
102.   
103. 节点 "oradb1" 上的共享存储检查成功  
104.   
105. 硬件和操作系统设置 的后期检查成功。  
106.   
107. [grid@oradb2 ~]$ cluvfy stage -pre crsinst -n oradb1,oradb2 -fixup -verbose  
108.   
109. 执行 集群服务设置 的预检查  
110.   
111. 正在检查节点的可访问性...  
112.   
113. 检查: 节点 "oradb2" 的节点可访问性  
114.   目标节点                                  是否可访问?                    
115.   ------------------------------------  ------------------------  
116.   oradb2                                是                         
117.   oradb1                                是                         
118. 结果:节点 "oradb2" 的节点可访问性检查已通过  
119.   
120.   
121. 正在检查等同用户...  
122.   
123. 检查: 用户 "grid" 的等同用户  
124.   节点名                                   状态                        
125.   ------------------------------------  ------------------------  
126.   oradb2                                失败                        
127.   oradb1                                通过                        
128. 结果:PRVF-4007 : 用户 "grid" 的等同用户检查失败  
129.   
130. WARNING:   
131. 以下节点未设置等同用户:  
132.     oradb2  
133. 将继续验证节点:  
134.     oradb1  
135.   
136. 正在检查节点连接性...  
137.   
138. 正在检查主机配置文件...  
139.   节点名                                   状态                        
140.   ------------------------------------  ------------------------  
141.   oradb1                                通过                        
142.   
143. 主机配置文件的验证成功  
144.   
145.   
146. 节点 "oradb1" 的接口信息  
147.  名称     IP 地址           子网              网关              默认网关            HW 地址             MTU     
148.  ------ --------------- --------------- --------------- --------------- ----------------- ------  
149.  eth0   172.27.90.158   172.27.90.0     0.0.0.0         172.27.90.254   A4:BA:DB:18:24:AF 1500    
150.  eth1   10.10.1.1       10.10.1.0       0.0.0.0         172.27.90.254   A4:BA:DB:18:24:B1 1500    
151.   
152.   
153. 检查: 子网 "172.27.90.0" 的节点连接性  
154. 结果:含有节点 oradb1 的子网 "172.27.90.0" 的节点连接性检查已通过  
155.   
156.   
157. 检查: 子网 "172.27.90.0" 的 TCP 连接性  
158.   源                               目标                              是否已连接?            
159.   ------------------------------  ------------------------------  ----------------  
160.   oradb2:172.27.90.159            oradb1:172.27.90.158            通过                
161. 结果:子网 "172.27.90.0" 的 TCP 连接性检查通过  
162.   
163.   
164. 检查: 子网 "10.10.1.0" 的节点连接性  
165. 结果:含有节点 oradb1 的子网 "10.10.1.0" 的节点连接性检查已通过  
166.   
167.   
168. 检查: 子网 "10.10.1.0" 的 TCP 连接性  
169.   源                               目标                              是否已连接?            
170.   ------------------------------  ------------------------------  ----------------  
171.   oradb2:172.27.90.159            oradb1:10.10.1.1                通过                
172. 结果:子网 "10.10.1.0" 的 TCP 连接性检查通过  
173.   
174.   
175. 在子网 "172.27.90.0" 上找到的很可能是用于 VIP 的候选接口的接口为:  
176. oradb1 eth0:172.27.90.158  
177.   
178. 在子网 "10.10.1.0" 上找到的很可能是用于专用互连的候选接口的接口为:  
179. oradb1 eth1:10.10.1.1  
180.   
181. 结果:节点连接性检查已通过  
182.   
183. 正在检查多点传送通信...  
184.   
185. 正在检查子网 "172.27.90.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...  
186. 子网 "172.27.90.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。  
187.   
188. 正在检查子网 "10.10.1.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...  
189. 子网 "10.10.1.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。  
190.   
191. 多点传送通信检查已通过。  
192.   
193. 检查 ASMLib 配置。  
194.   节点名                                   状态                        
195.   ------------------------------------  ------------------------  
196.   oradb1                                通过                        
197. 结果:ASMLib 配置检查通过。  
198.   
199. 检查: 内存总量   
200.   节点名           可用                        必需                        状态          
201.   ------------  ------------------------  ------------------------  ----------  
202.   oradb1        1.9539GB (2048816.0KB)    1.5GB (1572864.0KB)       通过          
203. 结果:内存总量 检查已通过  
204.   
205. 检查: 可用内存   
206.   节点名           可用                        必需                        状态          
207.   ------------  ------------------------  ------------------------  ----------  
208.   oradb1        1.8321GB (1921144.0KB)    50MB (51200.0KB)          通过          
209. 结果:可用内存 检查已通过  
210.   
211. 检查: 交换空间   
212.   节点名           可用                        必需                        状态          
213.   ------------  ------------------------  ------------------------  ----------  
214.   oradb1        3.9987GB (4192924.0KB)    2.9309GB (3073224.0KB)    通过          
215. 结果:交换空间 检查已通过  
216.   
217. 检查: "oradb1:/opt/app/11.2.0/grid" 的 空闲磁盘空间   
218.   路径                节点名           装载点           可用            必需            状态            
219.   ----------------  ------------  ------------  ------------  ------------  ------------  
220.   /opt/app/11.2.0/grid  oradb1        /opt          47.9814GB     5.5GB         通过            
221. 结果:"oradb1:/opt/app/11.2.0/grid" 的 空闲磁盘空间 检查已通过  
222.   
223. 检查: "oradb1:/tmp" 的 空闲磁盘空间   
224.   路径                节点名           装载点           可用            必需            状态            
225.   ----------------  ------------  ------------  ------------  ------------  ------------  
226.   /tmp              oradb1        /tmp          47.9785GB     1GB           通过            
227. 结果:"oradb1:/tmp" 的 空闲磁盘空间 检查已通过  
228.   
229. 检查: "grid" 的 用户存在性   
230.   节点名           状态                        注释                        
231.   ------------  ------------------------  ------------------------  
232.   oradb1        通过                        存在(1100)                  
233.   
234. 检查 UID 值为 1100 的多个用户  
235. 结果:对 UID 值为 1100 的多个用户进行的检查已通过  
236. 结果:"grid" 的 用户存在性 检查已通过  
237.   
238. 检查: "oinstall" 的 组存在性   
239.   节点名           状态                        注释                        
240.   ------------  ------------------------  ------------------------  
241.   oradb1        通过                        存在                        
242. 结果:"oinstall" 的 组存在性 检查已通过  
243.   
244. 检查: "dba" 的 组存在性   
245.   节点名           状态                        注释                        
246.   ------------  ------------------------  ------------------------  
247.   oradb1        通过                        存在                        
248. 结果:"dba" 的 组存在性 检查已通过  
249.   
250. 检查: 组 "oinstall" 中用户 "grid" 的成员资格 [作为 主]  
251.   节点名               用户存在          组存在           组中的用户         主             状态            
252.   ----------------  ------------  ------------  ------------  ------------  ------------  
253.   oradb1            是             是             是             是             通过            
254. 结果:组 "oinstall" 中用户 "grid" 的成员资格检查 [作为 主] 已通过  
255.   
256. 检查: 组 "dba" 中用户 "grid" 的成员资格  
257.   节点名               用户存在          组存在           组中的用户         状态                
258.   ----------------  ------------  ------------  ------------  ----------------  
259.   oradb1            是             是             否             失败                
260. 结果:组 "dba" 中用户 "grid" 的成员资格检查失败  
261.   
262. 检查: 运行级别   
263.   节点名           运行级别                      必需                        状态          
264.   ------------  ------------------------  ------------------------  ----------  
265.   oradb1        5                         3,5                       通过          
266. 结果:运行级别 检查已通过  
267.   
268. 检查: "打开的文件描述符的最大数" 的 硬性限制   
269.   节点名               类型            可用            必需            状态                
270.   ----------------  ------------  ------------  ------------  ----------------  
271.   oradb1            硬性            65536         65536         通过                
272. 结果:"打开的文件描述符的最大数" 的 硬性限制 检查已通过  
273.   
274. 检查: "打开的文件描述符的最大数" 的 软性限制   
275.   节点名               类型            可用            必需            状态                
276.   ----------------  ------------  ------------  ------------  ----------------  
277.   oradb1            软性            1024          1024          通过                
278. 结果:"打开的文件描述符的最大数" 的 软性限制 检查已通过  
279.   
280. 检查: "最大用户进程数" 的 硬性限制   
281.   节点名               类型            可用            必需            状态                
282.   ----------------  ------------  ------------  ------------  ----------------  
283.   oradb1            硬性            16384         16384         通过                
284. 结果:"最大用户进程数" 的 硬性限制 检查已通过  
285.   
286. 检查: "最大用户进程数" 的 软性限制   
287.   节点名               类型            可用            必需            状态                
288.   ----------------  ------------  ------------  ------------  ----------------  
289.   oradb1            软性            2047          2047          通过                
290. 结果:"最大用户进程数" 的 软性限制 检查已通过  
291.   
292. 检查: 系统体系结构   
293.   节点名           可用                        必需                        状态          
294.   ------------  ------------------------  ------------------------  ----------  
295.   oradb1        x86_64                    x86_64                    通过          
296. 结果:系统体系结构 检查已通过  
297.   
298. 检查: 内核版本   
299.   节点名           可用                        必需                        状态          
300.   ------------  ------------------------  ------------------------  ----------  
301.   oradb1        2.6.18-194.el5            2.6.18                    通过          
302. 结果:内核版本 检查已通过  
303.   
304. 检查: "semmsl" 的 内核参数   
305.   节点名               当前值           已配置           必需            状态            注释            
306.   ----------------  ------------  ------------  ------------  ------------  ------------  
307.   oradb1            250           250           250           通过                
308. 结果:"semmsl" 的 内核参数 检查已通过  
309.   
310. 检查: "semmns" 的 内核参数   
311.   节点名               当前值           已配置           必需            状态            注释            
312.   ----------------  ------------  ------------  ------------  ------------  ------------  
313.   oradb1            32000         32000         32000         通过                
314. 结果:"semmns" 的 内核参数 检查已通过  
315.   
316. 检查: "semopm" 的 内核参数   
317.   节点名               当前值           已配置           必需            状态            注释            
318.   ----------------  ------------  ------------  ------------  ------------  ------------  
319.   oradb1            100           100           100           通过                
320. 结果:"semopm" 的 内核参数 检查已通过  
321.   
322. 检查: "semmni" 的 内核参数   
323.   节点名               当前值           已配置           必需            状态            注释            
324.   ----------------  ------------  ------------  ------------  ------------  ------------  
325.   oradb1            128           128           128           通过                
326. 结果:"semmni" 的 内核参数 检查已通过  
327.   
328. 检查: "shmmax" 的 内核参数   
329.   节点名               当前值           已配置           必需            状态            注释            
330.   ----------------  ------------  ------------  ------------  ------------  ------------  
331.   oradb1            2147483648    2147483648    1048993792    通过                
332. 结果:"shmmax" 的 内核参数 检查已通过  
333.   
334. 检查: "shmmni" 的 内核参数   
335.   节点名               当前值           已配置           必需            状态            注释            
336.   ----------------  ------------  ------------  ------------  ------------  ------------  
337.   oradb1            4096          4096          4096          通过                
338. 结果:"shmmni" 的 内核参数 检查已通过  
339.   
340. 检查: "shmall" 的 内核参数   
341.   节点名               当前值           已配置           必需            状态            注释            
342.   ----------------  ------------  ------------  ------------  ------------  ------------  
343.   oradb1            2097152       2097152       2097152       通过                
344. 结果:"shmall" 的 内核参数 检查已通过  
345.   
346. 检查: "file-max" 的 内核参数   
347.   节点名               当前值           已配置           必需            状态            注释            
348.   ----------------  ------------  ------------  ------------  ------------  ------------  
349.   oradb1            6815744       6815744       6815744       通过                
350. 结果:"file-max" 的 内核参数 检查已通过  
351.   
352. 检查: "ip_local_port_range" 的 内核参数   
353.   节点名               当前值           已配置           必需            状态            注释            
354.   ----------------  ------------  ------------  ------------  ------------  ------------  
355.   oradb1            between 9000.0 & 65500.0  between 9000.0 & 65500.0  between 9000.0 & 65500.0  通过                
356. 结果:"ip_local_port_range" 的 内核参数 检查已通过  
357.   
358. 检查: "rmem_default" 的 内核参数   
359.   节点名               当前值           已配置           必需            状态            注释            
360.   ----------------  ------------  ------------  ------------  ------------  ------------  
361.   oradb1            262144        262144        262144        通过                
362. 结果:"rmem_default" 的 内核参数 检查已通过  
363.   
364. 检查: "rmem_max" 的 内核参数   
365.   节点名               当前值           已配置           必需            状态            注释            
366.   ----------------  ------------  ------------  ------------  ------------  ------------  
367.   oradb1            4194304       4194304       4194304       通过                
368. 结果:"rmem_max" 的 内核参数 检查已通过  
369.   
370. 检查: "wmem_default" 的 内核参数   
371.   节点名               当前值           已配置           必需            状态            注释            
372.   ----------------  ------------  ------------  ------------  ------------  ------------  
373.   oradb1            262144        262144        262144        通过                
374. 结果:"wmem_default" 的 内核参数 检查已通过  
375.   
376. 检查: "wmem_max" 的 内核参数   
377.   节点名               当前值           已配置           必需            状态            注释            
378.   ----------------  ------------  ------------  ------------  ------------  ------------  
379.   oradb1            1048576       1048576       1048576       通过                
380. 结果:"wmem_max" 的 内核参数 检查已通过  
381.   
382. 检查: "aio-max-nr" 的 内核参数   
383.   节点名               当前值           已配置           必需            状态            注释            
384.   ----------------  ------------  ------------  ------------  ------------  ------------  
385.   oradb1            1048576       1048576       1048576       通过                
386. 结果:"aio-max-nr" 的 内核参数 检查已通过  
387.   
388. 检查: "make" 的 包存在性   
389.   节点名           可用                        必需                        状态          
390.   ------------  ------------------------  ------------------------  ----------  
391.   oradb1        make-3.81-3.el5           make-3.81                 通过          
392. 结果:"make" 的 包存在性 检查已通过  
393.   
394. 检查: "binutils" 的 包存在性   
395.   节点名           可用                        必需                        状态          
396.   ------------  ------------------------  ------------------------  ----------  
397.   oradb1        binutils-2.17.50.0.6-14.el5  binutils-2.17.50.0.6      通过          
398. 结果:"binutils" 的 包存在性 检查已通过  
399.   
400. 检查: "gcc(x86_64)" 的 包存在性   
401.   节点名           可用                        必需                        状态          
402.   ------------  ------------------------  ------------------------  ----------  
403.   oradb1        gcc(x86_64)-4.1.2-48.el5  gcc(x86_64)-4.1.2         通过          
404. 结果:"gcc(x86_64)" 的 包存在性 检查已通过  
405.   
406. 检查: "libaio(x86_64)" 的 包存在性   
407.   节点名           可用                        必需                        状态          
408.   ------------  ------------------------  ------------------------  ----------  
409.   oradb1        libaio(x86_64)-0.3.106-5  libaio(x86_64)-0.3.106    通过          
410. 结果:"libaio(x86_64)" 的 包存在性 检查已通过  
411.   
412. 检查: "glibc(x86_64)" 的 包存在性   
413.   节点名           可用                        必需                        状态          
414.   ------------  ------------------------  ------------------------  ----------  
415.   oradb1        glibc(x86_64)-2.5-49      glibc(x86_64)-2.5-24      通过          
416. 结果:"glibc(x86_64)" 的 包存在性 检查已通过  
417.   
418. 检查: "compat-libstdc++-33(x86_64)" 的 包存在性   
419.   节点名           可用                        必需                        状态          
420.   ------------  ------------------------  ------------------------  ----------  
421.   oradb1        compat-libstdc++-33(x86_64)-3.2.3-61  compat-libstdc++-33(x86_64)-3.2.3  通过          
422. 结果:"compat-libstdc++-33(x86_64)" 的 包存在性 检查已通过  
423.   
424. 检查: "elfutils-libelf(x86_64)" 的 包存在性   
425.   节点名           可用                        必需                        状态          
426.   ------------  ------------------------  ------------------------  ----------  
427.   oradb1        elfutils-libelf(x86_64)-0.137-3.el5  elfutils-libelf(x86_64)-0.125  通过          
428. 结果:"elfutils-libelf(x86_64)" 的 包存在性 检查已通过  
429.   
430. 检查: "elfutils-libelf-devel" 的 包存在性   
431.   节点名           可用                        必需                        状态          
432.   ------------  ------------------------  ------------------------  ----------  
433.   oradb1        elfutils-libelf-devel-0.137-3.el5  elfutils-libelf-devel-0.125  通过          
434.   
435. WARNING:   
436. PRVF-7584 : 在节点 oradb1 上找到多个版本的程序包 "elfutils-libelf-devel": elfutils-libelf-devel(x86_64)-0.137-3.el5,elfutils-libelf-devel(i386)-0.137-3.el5  
437. 结果:"elfutils-libelf-devel" 的 包存在性 检查已通过  
438.   
439. 检查: "glibc-common" 的 包存在性   
440.   节点名           可用                        必需                        状态          
441.   ------------  ------------------------  ------------------------  ----------  
442.   oradb1        glibc-common-2.5-49       glibc-common-2.5          通过          
443. 结果:"glibc-common" 的 包存在性 检查已通过  
444.   
445. 检查: "glibc-devel(x86_64)" 的 包存在性   
446.   节点名           可用                        必需                        状态          
447.   ------------  ------------------------  ------------------------  ----------  
448.   oradb1        glibc-devel(x86_64)-2.5-49  glibc-devel(x86_64)-2.5   通过          
449. 结果:"glibc-devel(x86_64)" 的 包存在性 检查已通过  
450.   
451. 检查: "glibc-headers" 的 包存在性   
452.   节点名           可用                        必需                        状态          
453.   ------------  ------------------------  ------------------------  ----------  
454.   oradb1        glibc-headers-2.5-49      glibc-headers-2.5         通过          
455. 结果:"glibc-headers" 的 包存在性 检查已通过  
456.   
457. 检查: "gcc-c++(x86_64)" 的 包存在性   
458.   节点名           可用                        必需                        状态          
459.   ------------  ------------------------  ------------------------  ----------  
460.   oradb1        gcc-c++(x86_64)-4.1.2-48.el5  gcc-c++(x86_64)-4.1.2     通过          
461. 结果:"gcc-c++(x86_64)" 的 包存在性 检查已通过  
462.   
463. 检查: "libaio-devel(x86_64)" 的 包存在性   
464.   节点名           可用                        必需                        状态          
465.   ------------  ------------------------  ------------------------  ----------  
466.   oradb1        libaio-devel(x86_64)-0.3.106-5  libaio-devel(x86_64)-0.3.106  通过          
467. 结果:"libaio-devel(x86_64)" 的 包存在性 检查已通过  
468.   
469. 检查: "libgcc(x86_64)" 的 包存在性   
470.   节点名           可用                        必需                        状态          
471.   ------------  ------------------------  ------------------------  ----------  
472.   oradb1        libgcc(x86_64)-4.1.2-48.el5  libgcc(x86_64)-4.1.2      通过          
473. 结果:"libgcc(x86_64)" 的 包存在性 检查已通过  
474.   
475. 检查: "libstdc++(x86_64)" 的 包存在性   
476.   节点名           可用                        必需                        状态          
477.   ------------  ------------------------  ------------------------  ----------  
478.   oradb1        libstdc++(x86_64)-4.1.2-48.el5  libstdc++(x86_64)-4.1.2   通过          
479. 结果:"libstdc++(x86_64)" 的 包存在性 检查已通过  
480.   
481. 检查: "libstdc++-devel(x86_64)" 的 包存在性   
482.   节点名           可用                        必需                        状态          
483.   ------------  ------------------------  ------------------------  ----------  
484.   oradb1        libstdc++-devel(x86_64)-4.1.2-48.el5  libstdc++-devel(x86_64)-4.1.2  通过          
485. 结果:"libstdc++-devel(x86_64)" 的 包存在性 检查已通过  
486.   
487. 检查: "sysstat" 的 包存在性   
488.   节点名           可用                        必需                        状态          
489.   ------------  ------------------------  ------------------------  ----------  
490.   oradb1        sysstat-7.0.2-3.el5       sysstat-7.0.2             通过          
491. 结果:"sysstat" 的 包存在性 检查已通过  
492.   
493. 检查: "ksh" 的 包存在性   
494.   节点名           可用                        必需                        状态          
495.   ------------  ------------------------  ------------------------  ----------  
496.   oradb1        ksh-20100202-1.el5        ksh-20060214              通过          
497. 结果:"ksh" 的 包存在性 检查已通过  
498.   
499. 检查 UID 值为 0 的多个用户  
500. 结果:对 UID 值为 0 的多个用户进行的检查已通过  
501.   
502. 检查: 当前组 ID   
503. 结果:当前组 ID 检查已通过  
504.   
505. 开始检查 root 用户的主要组的一致性  
506.   节点名                                   状态                        
507.   ------------------------------------  ------------------------  
508.   oradb1                                通过                        
509.   
510. 已通过 root 用户主要组的一致性检查  
511.   
512. 正在使用网络时间协议 (NTP) 启动时钟同步检查...  
513.   
514. NTP 配置文件检查开始...  
515. NTP 配置文件 "/etc/ntp.conf" 在所有节点上可用  
516. NTP 配置文件检查通过  
517. 未发现任何正在运行的 NTP 守护程序或服务  
518. PRVF-5507 : NTP 守护程序或服务未在任何节点上运行, 但以下节点上存在 NTP 配置文件:  
519. oradb1  
520. 结果:使用网络时间协议 (NTP) 进行时钟同步检查失败  
521.   
522. 正在检查核心文件名模式一致性...  
523. 核心文件名模式一致性检查已通过。  
524.   
525. 检查以确保用户 "grid" 不在 "root" 组中  
526.   节点名           状态                        注释                        
527.   ------------  ------------------------  ------------------------  
528.   oradb1        通过                        不存在                       
529. 结果:用户 "grid" 不属于 "root" 组。检查已通过  
530.   
531. 检查默认用户文件创建掩码  
532.   节点名           可用                        必需                        注释          
533.   ------------  ------------------------  ------------------------  ----------  
534.   oradb1        0022                      0022                      通过          
535. 结果:默认用户文件创建掩码检查已通过  
536. 检查文件 "/etc/resolv.conf" 在节点间的一致性  
537.   
538. 检查文件 "/etc/resolv.conf" 以确保只定义了 'domain' 和 'search' 条目中的一个  
539. 文件 "/etc/resolv.conf" 未同时定义 'domain' 和 'search' 条目  
540. 正在检查文件 "/etc/resolv.conf" 中的 'domain' 条目是否在节点间一致...  
541. 文件 "/etc/resolv.conf" 中的 'domain' 条目在节点间一致  
542. 正在检查文件 "/etc/resolv.conf" 中的 'search' 条目是否在节点间一致...  
543. 文件 "/etc/resolv.conf" 中的 'search' 条目在节点间一致  
544. 检查无法访问节点的 DNS 响应时间  
545.   节点名                                   状态                        
546.   ------------------------------------  ------------------------  
547.   oradb1                                失败                        
548. PRVF-5636 : 在以下节点上, 无法访问的节点的 DNS 响应时间超过 "15000" 毫秒: oradb1  
549.   
550. 文件 "/etc/resolv.conf" 在各节点间不一致  
551.   
552. 检查: 时区一致性   
553. 结果:时区一致性 检查已通过  
554. 为以下节点生成了修复信息:  
555. oradb1  
556. 请在每个节点上以 "root" 用户身份运行以下脚本来执行修复:  
557. '/tmp/CVU_11.2.0.3.0_grid/runfixup.sh'  
558.   
559. 在所有节点上预检查 集群服务设置 失败。  

二十、执行addNode.sh将节点一添加至RAC:

[python]  view plain  copy

1. [grid@oradb2 bin]$ cd $ORACLE_HOME/oui/bin  
2. [grid@oradb2 bin]$ ls  
3. addLangs.sh*  attachHome.sh*  filesList.bat*         filesList.sh*  resource/      runInstaller*     runSSHSetup.sh*  
4. addNode.sh*   detachHome.sh*  filesList.properties*  lsnodes*       runConfig.sh*  runInstaller.sh*  
5. [grid@oradb2 bin]$ ./addNode.sh "CLUSTER_NEW_NODES={oradb1}"   
6.   
7. ./addNode.sh -  
8. silent "CLUSTER_NEW_NODES={oradb1}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={oradb1-vip}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={oradb1-priv}"  
9.   
10.   
11. 执行 添加节点 的预检查  
12.   
13. ERROR:   
14. PRVF-7610 : 无法在现有集群节点上验证等同用户/可访问性  
15. 验证无法继续  
16.   
17. #在所有节点上预检查 添加节点 失败。  
18. [grid@oradb2 bin]$ export IGNORE_PREADDNODE_CHECKS=Y  
19. [grid@oradb2 bin]$ ./addNode.sh -silent "CLUSTER_NEW_NODES={oradb1}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={oradb1-vip}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={oradb1-priv}"  
20.   
21.   
22. ./addNode.sh "CLUSTER_NEW_NODES={oadb1};  
23.   
24. 2.节点1上grid用户执行  
25. $ORACLE_HOME/oui/bin/addNode.sh "CLUSTER_NEW_NODES={rac2}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={rac2-vip}"  

       一些无关紧要的小问题检查不通过，在图形界面安装时是可以忽略的，这里是不能直接忽略的，需要修改一下addNode.sh文件

[python]  view plain  copy

1. #!/bin/sh  
2. OHOME=/u01/app/11.2.0/grid  
3. INVPTRLOC=$OHOME/oraInst.loc  
4. EXIT_CODE=0  
5. ADDNODE="$OHOME/oui/bin/runInstaller -addNode -invPtrLoc $INVPTRLOC ORACLE_HOME=$OHOME $*"  
6. if [ "$IGNORE_PREADDNODE_CHECKS" = "Y" -o ! -f "$OHOME/cv/cvutl/check_nodeadd.pl" ]  
7. then  
8.         $ADDNODE  
9.         EXIT_CODE=$?;  
10. else  
11.         CHECK_NODEADD="$OHOME/perl/bin/perl $OHOME/cv/cvutl/check_nodeadd.pl -pre ORACLE_HOME=$OHOME $*"  
12.         $CHECK_NODEADD  
13.         EXIT_CODE=$?;  
14. <span style="color:#ff0000;">EXIT_CODE=0   ##在这里添加一行，用于忽略一些小错误</span>  
15.         if [ $EXIT_CODE -eq 0 ]  
16.         then  
17.                 $ADDNODE  
18.                 EXIT_CODE=$?;  
19.         fi  
20. fi  
21. exit $EXIT_CODE ;  

重新执行

[python]  view plain  copy

1. [grid@oradb2 bin]$  ./runInstaller -updateNodeList ORACLE_HOME=/opt/app/11.2.0/grid "CLUSTER_NODES={oradb2}"  
2. 正在启动 Oracle Universal Installer...  
3.   
4. 检查交换空间: 必须大于 500 MB。   实际为 3002 MB    通过  
5. The inventory pointer is located at /etc/oraInst.loc  
6. The inventory is located at /opt/app/oraInventory  
7. 'UpdateNodeList' 成功。  

[python]  view plain  copy

1. [grid@oradb2 bin]$ export IGNORE_PREADDNODE_CHECKS=Y  
2. [grid@oradb2 bin]$ ./addNode.sh -silent "CLUSTER_NEW_NODES={oradb1}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={oradb1-vip}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={oradb1-priv}"  
3. 正在启动 Oracle Universal Installer...  
4.   
5. 检查交换空间: 必须大于 500 MB。   实际为 3001 MB    通过  
6. Oracle Universal Installer, 版本 11.2.0.3.0 Production  
7. 版权所有 (c) 1999, 2011, Oracle。保留所有权利。  
8.   
9.   
10. 执行测试以检查节点 oradb1 是否可用  
11. ............................................................... 100% 已完成。  
12.   
13. .  
14. -----------------------------------------------------------------------------  
15. 添加集群节点概要  
16. 全局设置  
17.    源: /opt/app/11.2.0/grid  
18.    新节点  
19. 空间要求  
20.    新节点  
21.       oradb1  
22.          /opt: 要求空间 6.06GB: 可用空间 44.68GB  
23. 已安装产品  
24.    产品名  
25.       Oracle Grid Infrastructure 11.2.0.3.0   
26.       Sun JDK 1.5.0.30.03   
27.       Installer SDK Component 11.2.0.3.0   
28.       Oracle One-Off Patch Installer 11.2.0.1.7   
29.       Oracle Universal Installer 11.2.0.3.0   
30.       Oracle USM Deconfiguration 11.2.0.3.0   
31.       Oracle Configuration Manager Deconfiguration 10.3.1.0.0   
32.       Enterprise Manager Common Core Files 10.2.0.4.4   
33.       Oracle DBCA Deconfiguration 11.2.0.3.0   
34.       Oracle RAC Deconfiguration 11.2.0.3.0   
35.       Oracle Quality of Service Management (Server) 11.2.0.3.0   
36.       Installation Plugin Files 11.2.0.3.0   
37.       Universal Storage Manager Files 11.2.0.3.0   
38.       Oracle Text Required Support Files 11.2.0.3.0   
39.       Automatic Storage Management Assistant 11.2.0.3.0   
40.       Oracle Database 11g Multimedia Files 11.2.0.3.0   
41.       Oracle Multimedia Java Advanced Imaging 11.2.0.3.0   
42.       Oracle Globalization Support 11.2.0.3.0   
43.       Oracle Multimedia Locator RDBMS Files 11.2.0.3.0   
44.       Oracle Core Required Support Files 11.2.0.3.0   
45.       Bali Share 1.1.18.0.0   
46.       Oracle Database Deconfiguration 11.2.0.3.0   
47.       Oracle Quality of Service Management (Client) 11.2.0.3.0   
48.       Expat libraries 2.0.1.0.1   
49.       Oracle Containers for Java 11.2.0.3.0   
50.       Perl Modules 5.10.0.0.1   
51.       Secure Socket Layer 11.2.0.3.0   
52.       Oracle JDBC/OCI Instant Client 11.2.0.3.0   
53.       Oracle Multimedia Client Option 11.2.0.3.0   
54.       LDAP Required Support Files 11.2.0.3.0   
55.       Character Set Migration Utility 11.2.0.3.0   
56.       Perl Interpreter 5.10.0.0.2   
57.       PL/SQL Embedded Gateway 11.2.0.3.0   
58.       OLAP SQL Scripts 11.2.0.3.0   
59.       Database SQL Scripts 11.2.0.3.0   
60.       Oracle Extended Windowing Toolkit 3.4.47.0.0   
61.       SSL Required Support Files for InstantClient 11.2.0.3.0   
62.       SQL*Plus Files for Instant Client 11.2.0.3.0   
63.       Oracle Net Required Support Files 11.2.0.3.0   
64.       Oracle Database User Interface 2.2.13.0.0   
65.       RDBMS Required Support Files for Instant Client 11.2.0.3.0   
66.       RDBMS Required Support Files Runtime 11.2.0.3.0   
67.       XML Parser for Java 11.2.0.3.0   
68.       Oracle Security Developer Tools 11.2.0.3.0   
69.       Oracle Wallet Manager 11.2.0.3.0   
70.       Enterprise Manager plugin Common Files 11.2.0.3.0   
71.       Platform Required Support Files 11.2.0.3.0   
72.       Oracle JFC Extended Windowing Toolkit 4.2.36.0.0   
73.       RDBMS Required Support Files 11.2.0.3.0   
74.       Oracle Ice Browser 5.2.3.6.0   
75.       Oracle Help For Java 4.2.9.0.0   
76.       Enterprise Manager Common Files 10.2.0.4.3   
77.       Deinstallation Tool 11.2.0.3.0   
78.       Oracle Java Client 11.2.0.3.0   
79.       Cluster Verification Utility Files 11.2.0.3.0   
80.       Oracle Notification Service (eONS) 11.2.0.3.0   
81.       Oracle LDAP administration 11.2.0.3.0   
82.       Cluster Verification Utility Common Files 11.2.0.3.0   
83.       Oracle Clusterware RDBMS Files 11.2.0.3.0   
84.       Oracle Locale Builder 11.2.0.3.0   
85.       Oracle Globalization Support 11.2.0.3.0   
86.       Buildtools Common Files 11.2.0.3.0   
87.       Oracle RAC Required Support Files-HAS 11.2.0.3.0   
88.       SQL*Plus Required Support Files 11.2.0.3.0   
89.       XDK Required Support Files 11.2.0.3.0   
90.       Agent Required Support Files 10.2.0.4.3   
91.       Parser Generator Required Support Files 11.2.0.3.0   
92.       Precompiler Required Support Files 11.2.0.3.0   
93.       Installation Common Files 11.2.0.3.0   
94.       Required Support Files 11.2.0.3.0   
95.       Oracle JDBC/THIN Interfaces 11.2.0.3.0   
96.       Oracle Multimedia Locator 11.2.0.3.0   
97.       Oracle Multimedia 11.2.0.3.0   
98.       HAS Common Files 11.2.0.3.0   
99.       Assistant Common Files 11.2.0.3.0   
100.       PL/SQL 11.2.0.3.0   
101.       HAS Files for DB 11.2.0.3.0   
102.       Oracle Recovery Manager 11.2.0.3.0   
103.       Oracle Database Utilities 11.2.0.3.0   
104.       Oracle Notification Service 11.2.0.3.0   
105.       SQL*Plus 11.2.0.3.0   
106.       Oracle Netca Client 11.2.0.3.0   
107.       Oracle Net 11.2.0.3.0   
108.       Oracle JVM 11.2.0.3.0   
109.       Oracle Internet Directory Client 11.2.0.3.0   
110.       Oracle Net Listener 11.2.0.3.0   
111.       Cluster Ready Services Files 11.2.0.3.0   
112.       Oracle Database 11g 11.2.0.3.0   
113. -----------------------------------------------------------------------------  
114.   
115.   
116. 实例化脚本以添加节点 (2016年12月25日 星期日 上午04时17分04秒 CST)  
117. .                                                                 1% 已完成。  
118. 实例化添加节点脚本完成  
119.   
120. 复制到远程节点 (2016年12月25日 星期日 上午04时17分08秒 CST)  
121. ...............................................................................................                                 96% 已完成。  
122. 主目录已复制到新节点  
123.   
124. 在节点上保存产品清单 (2016年12月25日 星期日 上午04时30分51秒 CST)  
125. .                                                               100% 已完成。  
126. 保存产品清单完成  
127. WARNING:  
128. 以下配置脚本需要以各个新集群节点中的 "root" 用户的身份执行。以下列表中的每个脚本后面跟随一个节点列表。  
129. /opt/app/11.2.0/grid/root.sh #On nodes oradb1  
130. 要执行配置脚本, 请执行以下操作:  
131.     1. 打开终端窗口  
132.     2. 以 "root" 身份登录  
133.     3. 在每个集群节点中运行脚本  
134.       
135. /opt/app/11.2.0/grid 的 添加集群节点 已成功。  
136. 请查看 '/tmp/silentInstall.log' 以获取详细资料。  

#在节点一执行root脚本：

[python]  view plain  copy

1. [root@oradb1 app]# /opt/app/11.2.0/grid/root.sh  
2. Performing root user operation for Oracle 11g   
3.   
4. The following environment variables are set as:  
5.     ORACLE_OWNER= grid  
6.     ORACLE_HOME=  /opt/app/11.2.0/grid  
7.   
8. Enter the full pathname of the local bin directory: [/usr/local/bin]:   
9. The contents of "dbhome" have not changed. No need to overwrite.  
10. The contents of "oraenv" have not changed. No need to overwrite.  
11. The contents of "coraenv" have not changed. No need to overwrite.  
12.   
13. Entries will be added to the /etc/oratab file as needed by  
14. Database Configuration Assistant when a database is created  
15. Finished running generic part of root script.  
16. Now product-specific root actions will be performed.  
17. Using configuration parameter file: /opt/app/11.2.0/grid/crs/install/crsconfig_params  
18. Creating trace directory  
19. OLR initialization - successful  
20. Adding Clusterware entries to inittab  
21. CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node oradb2, number 2, and is terminating  
22. An active cluster was found during exclusive startup, restarting to join the cluster  
23. clscfg: EXISTING configuration version 5 detected.  
24. clscfg: version 5 is 11g Release 2.  
25. Successfully accumulated necessary OCR keys.  
26. Creating OCR keys for user 'root', privgrp 'root'..  
27. Operation successful.  
28. Configure Oracle Grid Infrastructure for a Cluster ... succeeded  

二十一：检查添加后的集群节点是否正确：

[python]  view plain  copy

1. [grid@oradb1 ~]$ crsctl check cluster -all  
2. **************************************************************  
3. oradb1:  
4. CRS-4537: Cluster Ready Services is online  
5. CRS-4529: Cluster Synchronization Services is online  
6. CRS-4533: Event Manager is online  
7. **************************************************************  
8. oradb2:  
9. CRS-4537: Cluster Ready Services is online  
10. CRS-4529: Cluster Synchronization Services is online  
11. CRS-4533: Event Manager is online  
12. **************************************************************  

[python]  view plain  copy

1. [grid@oradb1 ~]$ crsctl stat res -t  
2. --------------------------------------------------------------------------------  
3. NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
4. --------------------------------------------------------------------------------  
5. Local Resources  
6. --------------------------------------------------------------------------------  
7. ora.DATACRS.dg  
8.                ONLINE  ONLINE       oradb1                                         
9.                ONLINE  ONLINE       oradb2                                         
10. ora.DATAVOL1.dg  
11.                ONLINE  ONLINE       oradb1                                         
12.                ONLINE  ONLINE       oradb2                                         
13. ora.FRAVOL1.dg  
14.                ONLINE  ONLINE       oradb1                                         
15.                ONLINE  ONLINE       oradb2                                         
16. ora.LISTENER.lsnr  
17.                ONLINE  ONLINE       oradb1                                         
18.                ONLINE  ONLINE       oradb2                                         
19. ora.asm  
20.                ONLINE  ONLINE       oradb1                   Started               
21.                ONLINE  ONLINE       oradb2                   Started               
22. ora.gsd  
23.                OFFLINE OFFLINE      oradb1                                         
24.                OFFLINE OFFLINE      oradb2                                         
25. ora.net1.network  
26.                ONLINE  ONLINE       oradb1                                         
27.                ONLINE  ONLINE       oradb2                                         
28. ora.ons  
29.                ONLINE  ONLINE       oradb1                                         
30.                ONLINE  ONLINE       oradb2                                         
31. ora.registry.acfs  
32.                ONLINE  ONLINE       oradb1                                         
33.                ONLINE  ONLINE       oradb2                                         
34. --------------------------------------------------------------------------------  
35. Cluster Resources  
36. --------------------------------------------------------------------------------  
37. ora.LISTENER_SCAN1.lsnr  
38.       1        ONLINE  ONLINE       oradb2                                         
39. ora.cvu  
40.       1        ONLINE  ONLINE       oradb2                                         
41. ora.oc4j  
42.       1        ONLINE  ONLINE       oradb2                                         
43. ora.oradb1.vip  
44.       1        ONLINE  ONLINE       oradb1                                         
45. ora.oradb2.vip  
46.       1        ONLINE  ONLINE       oradb2                                         
47. ora.scan1.vip  
48.       1        ONLINE  ONLINE       oradb2                                         
49. ora.tjtvdb.db  
50.       2        ONLINE  ONLINE       oradb2                   Open           

[python]  view plain  copy

1. [root@oradb1 app]# ps -ef|grep asm|grep -v grep  
2. grid     23133     1  0 04:36 ?        00:00:00 asm_pmon_+ASM1  
3. grid     23135     1  0 04:36 ?        00:00:00 asm_psp0_+ASM1  
4. grid     23137     1  0 04:36 ?        00:00:00 asm_vktm_+ASM1  
5. grid     23141     1  0 04:36 ?        00:00:00 asm_gen0_+ASM1  
6. grid     23143     1  0 04:36 ?        00:00:00 asm_diag_+ASM1  
7. grid     23145     1  0 04:36 ?        00:00:00 asm_ping_+ASM1  
8. grid     23147     1  0 04:36 ?        00:00:00 asm_dia0_+ASM1  
9. grid     23149     1  0 04:36 ?        00:00:00 asm_lmon_+ASM1  
10. grid     23151     1  0 04:36 ?        00:00:00 asm_lmd0_+ASM1  
11. grid     23153     1  0 04:36 ?        00:00:00 asm_lms0_+ASM1  
12. grid     23157     1  0 04:36 ?        00:00:00 asm_lmhb_+ASM1  
13. grid     23159     1  0 04:36 ?        00:00:00 asm_mman_+ASM1  
14. grid     23161     1  0 04:36 ?        00:00:00 asm_dbw0_+ASM1  
15. grid     23163     1  0 04:36 ?        00:00:00 asm_lgwr_+ASM1  
16. grid     23165     1  0 04:36 ?        00:00:00 asm_ckpt_+ASM1  
17. grid     23167     1  0 04:36 ?        00:00:00 asm_smon_+ASM1  
18. grid     23169     1  0 04:36 ?        00:00:00 asm_rbal_+ASM1  
19. grid     23171     1  0 04:36 ?        00:00:00 asm_gmon_+ASM1  
20. grid     23173     1  0 04:36 ?        00:00:00 asm_mmon_+ASM1  
21. grid     23175     1  0 04:36 ?        00:00:00 asm_mmnl_+ASM1  
22. grid     23177     1  0 04:36 ?        00:00:00 asm_lck0_+ASM1  
23. grid     23215     1  0 04:36 ?        00:00:00 asm_asmb_+ASM1  
24. grid     23217     1  0 04:36 ?        00:00:00 oracle+ASM1_asmb_+asm1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
25. grid     23219     1  0 04:36 ?        00:00:00 asm_o000_+ASM1  
26. grid     23221     1  0 04:36 ?        00:00:00 oracle+ASM1_o000_+asm1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  

[python]  view plain  copy

1. [grid@oradb2 bin]$ crs_stat -t -v -c oradb1  
2. Name           Type           R/RA   F/FT   Target    State     Host          
3. ----------------------------------------------------------------------  
4. ora.DATACRS.dg ora....up.type 0/5    0/     ONLINE    ONLINE    oradb1        
5. ora....VOL1.dg ora....up.type 0/5    0/     ONLINE    ONLINE    oradb1        
6. ora.FRAVOL1.dg ora....up.type 0/5    0/     ONLINE    ONLINE    oradb1        
7. ora....ER.lsnr ora....er.type 0/5    0/     ONLINE    ONLINE    oradb1        
8. ora.asm        ora.asm.type   0/5    0/     ONLINE    ONLINE    oradb1        
9. ora....network ora....rk.type 0/5    0/     ONLINE    ONLINE    oradb1        
10. ora.ons        ora.ons.type   0/3    0/     ONLINE    ONLINE    oradb1        
11. ora....SM1.asm application    0/5    0/0    ONLINE    ONLINE    oradb1        
12. ora....B1.lsnr application    0/5    0/0    ONLINE    ONLINE    oradb1        
13. ora.oradb1.ons application    0/3    0/0    ONLINE    ONLINE    oradb1        
14. ora.oradb1.vip ora....t1.type 0/0    0/0    ONLINE    ONLINE    oradb1        
15. ora....ry.acfs ora....fs.type 0/5    0/     ONLINE    ONLINE    oradb1       

二十一、通过addNode.sh添加数据库软件：

[python]  view plain  copy

1. [oracle@oradb2 bin]$ cd $ORACLE_HOME/oui/bin  
2. [oracle@oradb2 bin]$ ./addNode.sh "CLUSTER_NEW_NODES={oradb1}"  
3.   
4. 执行 添加节点 的预检查  
5.   
6. 正在检查节点的可访问性...  
7. 节点 "oradb2" 的节点可访问性检查已通过  
8.   
9.   
10. 正在检查等同用户...  
11. 用户 "oracle" 的等同用户检查已通过  
12.   
13. WARNING:   
14. 节点 "oradb1" 已显示为集群的一部分  
15.   
16. 添加节点 的预检查成功。  
17. 正在启动 Oracle Universal Installer...  
18.   
19. 检查交换空间: 必须大于 500 MB。   实际为 2920 MB    通过  
20. Oracle Universal Installer, 版本 11.2.0.3.0 Production  
21. 版权所有 (c) 1999, 2011, Oracle。保留所有权利。  
22.   
23.   
24. 执行测试以检查节点 oradb1,oradb1 是否可用  
25. ............................................................... 100% 已完成。  
26.   
27. SEVERE:新节点 'oradb1' 已属于集群。  

#执行如下脚本更新节点信息：

[python]  view plain  copy

1. [oracle@oradb2 bin]$ ./runInstaller -updateNodeList ORACLE_HOME=/opt/app/oracle/product/11.2.0/dbhome_1 "CLUSTER_NODES={oradb2}"  
2. 正在启动 Oracle Universal Installer...  
3.   
4. 检查交换空间: 必须大于 500 MB。   实际为 2920 MB    通过  
5. The inventory pointer is located at /etc/oraInst.loc  
6. The inventory is located at /opt/app/oraInventory  
7. 'UpdateNodeList' 成功。  

#继续执行添加节点操作：

[python]  view plain  copy

1. [oracle@oradb2 bin]$ ./addNode.sh "CLUSTER_NEW_NODES={oradb1}"  
2.   
3. 执行 添加节点 的预检查  
4.   
5. 正在检查节点的可访问性...  
6. 节点 "oradb2" 的节点可访问性检查已通过  
7.   
8.   
9. 正在检查等同用户...  
10. 用户 "oracle" 的等同用户检查已通过  
11.   
12. WARNING:   
13. 节点 "oradb1" 已显示为集群的一部分  
14.   
15. 添加节点 的预检查成功。  
16. 正在启动 Oracle Universal Installer...  
17.   
18. 检查交换空间: 必须大于 500 MB。   实际为 2920 MB    通过  
19. Oracle Universal Installer, 版本 11.2.0.3.0 Production  
20. 版权所有 (c) 1999, 2011, Oracle。保留所有权利。  
21.   
22.   
23. 执行测试以检查节点 oradb1 是否可用  
24. ............................................................... 100% 已完成。  
25.   
26. .  
27. -----------------------------------------------------------------------------  
28. 添加集群节点概要  
29. 全局设置  
30.    源: /opt/app/oracle/product/11.2.0/dbhome_1  
31.    新节点  
32. 空间要求  
33.    新节点  
34.       oradb1  
35.          /opt: 要求空间 4.58GB: 可用空间 40.82GB  
36. 已安装产品  
37.    产品名  
38.       Oracle Database 11g 11.2.0.3.0   
39.       Sun JDK 1.5.0.30.03   
40.       Installer SDK Component 11.2.0.3.0   
41.       Oracle One-Off Patch Installer 11.2.0.1.7   
42.       Oracle Universal Installer 11.2.0.3.0   
43.       Oracle USM Deconfiguration 11.2.0.3.0   
44.       Oracle Configuration Manager Deconfiguration 10.3.1.0.0   
45.       Oracle DBCA Deconfiguration 11.2.0.3.0   
46.       Oracle RAC Deconfiguration 11.2.0.3.0   
47.       Oracle Database Deconfiguration 11.2.0.3.0   
48.       Oracle Configuration Manager Client 10.3.2.1.0   
49.       Oracle Configuration Manager 10.3.5.0.1   
50.       Oracle ODBC Driverfor Instant Client 11.2.0.3.0   
51.       LDAP Required Support Files 11.2.0.3.0   
52.       SSL Required Support Files for InstantClient 11.2.0.3.0   
53.       Bali Share 1.1.18.0.0   
54.       Oracle Extended Windowing Toolkit 3.4.47.0.0   
55.       Oracle JFC Extended Windowing Toolkit 4.2.36.0.0   
56.       Oracle Real Application Testing 11.2.0.3.0   
57.       Oracle Database Vault J2EE Application 11.2.0.3.0   
58.       Oracle Label Security 11.2.0.3.0   
59.       Oracle Data Mining RDBMS Files 11.2.0.3.0   
60.       Oracle OLAP RDBMS Files 11.2.0.3.0   
61.       Oracle OLAP API 11.2.0.3.0   
62.       Platform Required Support Files 11.2.0.3.0   
63.       Oracle Database Vault option 11.2.0.3.0   
64.       Oracle RAC Required Support Files-HAS 11.2.0.3.0   
65.       SQL*Plus Required Support Files 11.2.0.3.0   
66.       Oracle Display Fonts 9.0.2.0.0   
67.       Oracle Ice Browser 5.2.3.6.0   
68.       Oracle JDBC Server Support Package 11.2.0.3.0   
69.       Oracle SQL Developer 11.2.0.3.0   
70.       Oracle Application Express 11.2.0.3.0   
71.       XDK Required Support Files 11.2.0.3.0   
72.       RDBMS Required Support Files for Instant Client 11.2.0.3.0   
73.       SQLJ Runtime 11.2.0.3.0   
74.       Database Workspace Manager 11.2.0.3.0   
75.       RDBMS Required Support Files Runtime 11.2.0.3.0   
76.       Oracle Globalization Support 11.2.0.3.0   
77.       Exadata Storage Server 11.2.0.1.0   
78.       Provisioning Advisor Framework 10.2.0.4.3   
79.       Enterprise Manager Database Plugin -- Repository Support 11.2.0.3.0   
80.       Enterprise Manager Repository Core Files 10.2.0.4.4   
81.       Enterprise Manager Database Plugin -- Agent Support 11.2.0.3.0   
82.       Enterprise Manager Grid Control Core Files 10.2.0.4.4   
83.       Enterprise Manager Common Core Files 10.2.0.4.4   
84.       Enterprise Manager Agent Core Files 10.2.0.4.4   
85.       RDBMS Required Support Files 11.2.0.3.0   
86.       regexp 2.1.9.0.0   
87.       Agent Required Support Files 10.2.0.4.3   
88.       Oracle 11g Warehouse Builder Required Files 11.2.0.3.0   
89.       Oracle Notification Service (eONS) 11.2.0.3.0   
90.       Oracle Text Required Support Files 11.2.0.3.0   
91.       Parser Generator Required Support Files 11.2.0.3.0   
92.       Oracle Database 11g Multimedia Files 11.2.0.3.0   
93.       Oracle Multimedia Java Advanced Imaging 11.2.0.3.0   
94.       Oracle Multimedia Annotator 11.2.0.3.0   
95.       Oracle JDBC/OCI Instant Client 11.2.0.3.0   
96.       Oracle Multimedia Locator RDBMS Files 11.2.0.3.0   
97.       Precompiler Required Support Files 11.2.0.3.0   
98.       Oracle Core Required Support Files 11.2.0.3.0   
99.       Sample Schema Data 11.2.0.3.0   
100.       Oracle Starter Database 11.2.0.3.0   
101.       Oracle Message Gateway Common Files 11.2.0.3.0   
102.       Oracle XML Query 11.2.0.3.0   
103.       XML Parser for Oracle JVM 11.2.0.3.0   
104.       Oracle Help For Java 4.2.9.0.0   
105.       Installation Plugin Files 11.2.0.3.0   
106.       Enterprise Manager Common Files 10.2.0.4.3   
107.       Expat libraries 2.0.1.0.1   
108.       Deinstallation Tool 11.2.0.3.0   
109.       Oracle Quality of Service Management (Client) 11.2.0.3.0   
110.       Perl Modules 5.10.0.0.1   
111.       JAccelerator (COMPANION) 11.2.0.3.0   
112.       Oracle Containers for Java 11.2.0.3.0   
113.       Perl Interpreter 5.10.0.0.2   
114.       Oracle Net Required Support Files 11.2.0.3.0   
115.       Secure Socket Layer 11.2.0.3.0   
116.       Oracle Universal Connection Pool 11.2.0.3.0   
117.       Oracle JDBC/THIN Interfaces 11.2.0.3.0   
118.       Oracle Multimedia Client Option 11.2.0.3.0   
119.       Oracle Java Client 11.2.0.3.0   
120.       Character Set Migration Utility 11.2.0.3.0   
121.       Oracle Code Editor 1.2.1.0.0I   
122.       PL/SQL Embedded Gateway 11.2.0.3.0   
123.       OLAP SQL Scripts 11.2.0.3.0   
124.       Database SQL Scripts 11.2.0.3.0   
125.       Oracle Locale Builder 11.2.0.3.0   
126.       Oracle Globalization Support 11.2.0.3.0   
127.       SQL*Plus Files for Instant Client 11.2.0.3.0   
128.       Required Support Files 11.2.0.3.0   
129.       Oracle Database User Interface 2.2.13.0.0   
130.       Oracle ODBC Driver 11.2.0.3.0   
131.       Oracle Notification Service 11.2.0.3.0   
132.       XML Parser for Java 11.2.0.3.0   
133.       Oracle Security Developer Tools 11.2.0.3.0   
134.       Oracle Wallet Manager 11.2.0.3.0   
135.       Cluster Verification Utility Common Files 11.2.0.3.0   
136.       Oracle Clusterware RDBMS Files 11.2.0.3.0   
137.       Oracle UIX 2.2.24.6.0   
138.       Enterprise Manager plugin Common Files 11.2.0.3.0   
139.       HAS Common Files 11.2.0.3.0   
140.       Precompiler Common Files 11.2.0.3.0   
141.       Installation Common Files 11.2.0.3.0   
142.       Oracle Help for the  Web 2.0.14.0.0   
143.       Oracle LDAP administration 11.2.0.3.0   
144.       Buildtools Common Files 11.2.0.3.0   
145.       Assistant Common Files 11.2.0.3.0   
146.       Oracle Recovery Manager 11.2.0.3.0   
147.       PL/SQL 11.2.0.3.0   
148.       Generic Connectivity Common Files 11.2.0.3.0   
149.       Oracle Database Gateway for ODBC 11.2.0.3.0   
150.       Oracle Programmer 11.2.0.3.0   
151.       Oracle Database Utilities 11.2.0.3.0   
152.       Enterprise Manager Agent 10.2.0.4.3   
153.       SQL*Plus 11.2.0.3.0   
154.       Oracle Netca Client 11.2.0.3.0   
155.       Oracle Multimedia Locator 11.2.0.3.0   
156.       Oracle Call Interface (OCI) 11.2.0.3.0   
157.       Oracle Multimedia 11.2.0.3.0   
158.       Oracle Net 11.2.0.3.0   
159.       Oracle XML Development Kit 11.2.0.3.0   
160.       Database Configuration and Upgrade Assistants 11.2.0.3.0   
161.       Oracle JVM 11.2.0.3.0   
162.       Oracle Advanced Security 11.2.0.3.0   
163.       Oracle Internet Directory Client 11.2.0.3.0   
164.       Oracle Enterprise Manager Console DB 11.2.0.3.0   
165.       HAS Files for DB 11.2.0.3.0   
166.       Oracle Net Listener 11.2.0.3.0   
167.       Oracle Text 11.2.0.3.0   
168.       Oracle Net Services 11.2.0.3.0   
169.       Oracle Database 11g 11.2.0.3.0   
170.       Oracle OLAP 11.2.0.3.0   
171.       Oracle Spatial 11.2.0.3.0   
172.       Oracle Partitioning 11.2.0.3.0   
173.       Enterprise Edition Options 11.2.0.3.0   
174. -----------------------------------------------------------------------------  
175.   
176.   
177. 实例化脚本以添加节点 (2016年12月25日 星期日 上午04时48分52秒 CST)  
178. .                                                                 1% 已完成。  
179. 实例化添加节点脚本完成  
180.   
181. 复制到远程节点 (2016年12月25日 星期日 上午04时48分56秒 CST)  
182. ...............................................................................................                                 96% 已完成。  
183. 主目录已复制到新节点  
184.   
185. 在节点上保存产品清单 (2016年12月25日 星期日 上午04时54分03秒 CST)  
186. .                                                               100% 已完成。  
187. 保存产品清单完成  
188. WARNING:  
189. 以下配置脚本需要以各个新集群节点中的 "root" 用户的身份执行。以下列表中的每个脚本后面跟随一个节点列表。  
190. /opt/app/oracle/product/11.2.0/dbhome_1/root.sh #On nodes oradb1  
191. 要执行配置脚本, 请执行以下操作:  
192.     1. 打开终端窗口  
193.     2. 以 "root" 身份登录  
194.     3. 在每个集群节点中运行脚本  
195.       
196. /opt/app/oracle/product/11.2.0/dbhome_1 的 添加集群节点 已成功。  
197. 请查看 '/tmp/silentInstall.log' 以获取详细资料。  

#执行root.sh脚本：

[python]  view plain  copy

1. [root@oradb1 app]# /opt/app/oracle/product/11.2.0/dbhome_1/root.sh  
2. Performing root user operation for Oracle 11g   
3.   
4. The following environment variables are set as:  
5.     ORACLE_OWNER= oracle  
6.     ORACLE_HOME=  /opt/app/oracle/product/11.2.0/dbhome_1  
7.   
8. Enter the full pathname of the local bin directory: [/usr/local/bin]:   
9. The contents of "dbhome" have not changed. No need to overwrite.  
10. The contents of "oraenv" have not changed. No need to overwrite.  
11. The contents of "coraenv" have not changed. No need to overwrite.  
12.   
13. Entries will be added to the /etc/oratab file as needed by  
14. Database Configuration Assistant when a database is created  
15. Finished running generic part of root script.  
16. Now product-specific root actions will be performed.  
17. Finished product-specific root actions.  

二十二：检查数据库添加情况：

[python]  view plain  copy

1. [grid@oradb1 ~]$ crsctl status res -t  
2. --------------------------------------------------------------------------------  
3. NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
4. --------------------------------------------------------------------------------  
5. Local Resources  
6. --------------------------------------------------------------------------------  
7. ora.DATACRS.dg  
8.                ONLINE  ONLINE       oradb1                                         
9.                ONLINE  ONLINE       oradb2                                         
10. ora.DATAVOL1.dg  
11.                ONLINE  ONLINE       oradb1                                         
12.                ONLINE  ONLINE       oradb2                                         
13. ora.FRAVOL1.dg  
14.                ONLINE  ONLINE       oradb1                                         
15.                ONLINE  ONLINE       oradb2                                         
16. ora.LISTENER.lsnr  
17.                ONLINE  ONLINE       oradb1                                         
18.                ONLINE  ONLINE       oradb2                                         
19. ora.asm  
20.                ONLINE  ONLINE       oradb1                   Started               
21.                ONLINE  ONLINE       oradb2                   Started               
22. ora.gsd  
23.                OFFLINE OFFLINE      oradb1                                         
24.                OFFLINE OFFLINE      oradb2                                         
25. ora.net1.network  
26.                ONLINE  ONLINE       oradb1                                         
27.                ONLINE  ONLINE       oradb2                                         
28. ora.ons  
29.                ONLINE  ONLINE       oradb1                                         
30.                ONLINE  ONLINE       oradb2                                         
31. ora.registry.acfs  
32.                ONLINE  ONLINE       oradb1                                         
33.                ONLINE  ONLINE       oradb2                                         
34. --------------------------------------------------------------------------------  
35. Cluster Resources  
36. --------------------------------------------------------------------------------  
37. ora.LISTENER_SCAN1.lsnr  
38.       1        ONLINE  ONLINE       oradb2                                         
39. ora.cvu  
40.       1        ONLINE  ONLINE       oradb2                                         
41. ora.oc4j  
42.       1        ONLINE  ONLINE       oradb2                                         
43. ora.oradb1.vip  
44.       1        ONLINE  ONLINE       oradb1                                         
45. ora.oradb2.vip  
46.       1        ONLINE  ONLINE       oradb2                                         
47. ora.scan1.vip  
48.       1        ONLINE  ONLINE       oradb2                                         
49. ora.tjtvdb.db  
50.       1        ONLINE  ONLINE       oradb1                   Open                  
51.       2        ONLINE  ONLINE       oradb2                   Open                  

二十三、手工执行dbca添加实例：

二十四、检查实例是否已经成功添加

[python]  view plain  copy

1. [grid@oradb1 ~]$ crsctl status res -t  
2. --------------------------------------------------------------------------------  
3. NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
4. --------------------------------------------------------------------------------  
5. Local Resources   
6. --------------------------------------------------------------------------------  
7. ora.DATACRS.dg  
8.                ONLINE  ONLINE       oradb1                                         
9.                ONLINE  ONLINE       oradb2                                         
10. ora.DATAVOL1.dg  
11.                ONLINE  ONLINE       oradb1                                         
12.                ONLINE  ONLINE       oradb2                                         
13. ora.FRAVOL1.dg  
14.                ONLINE  ONLINE       oradb1                                         
15.                ONLINE  ONLINE       oradb2                                         
16. ora.LISTENER.lsnr  
17.                ONLINE  ONLINE       oradb1                                         
18.                ONLINE  ONLINE       oradb2                                         
19. ora.asm  
20.                ONLINE  ONLINE       oradb1                   Started               
21.                ONLINE  ONLINE       oradb2                   Started               
22. ora.gsd  
23.                OFFLINE OFFLINE      oradb1                                         
24.                OFFLINE OFFLINE      oradb2                                         
25. ora.net1.network  
26.                ONLINE  ONLINE       oradb1                                         
27.                ONLINE  ONLINE       oradb2                                         
28. ora.ons  
29.                ONLINE  ONLINE       oradb1                                         
30.                ONLINE  ONLINE       oradb2                                         
31. ora.registry.acfs  
32.                ONLINE  ONLINE       oradb1                                         
33.                ONLINE  ONLINE       oradb2                                         
34. --------------------------------------------------------------------------------  
35. Cluster Resources  
36. --------------------------------------------------------------------------------  
37. ora.LISTENER_SCAN1.lsnr  
38.       1        ONLINE  ONLINE       oradb2                                         
39. ora.cvu  
40.       1        ONLINE  ONLINE       oradb2                                         
41. ora.oc4j  
42.       1        ONLINE  ONLINE       oradb2                                         
43. ora.oradb1.vip  
44.       1        ONLINE  ONLINE       oradb1                                         
45. ora.oradb2.vip  
46.       1        ONLINE  ONLINE       oradb2                                         
47. ora.scan1.vip  
48.       1        ONLINE  ONLINE       oradb2                                         
49. ora.tjtvdb.db  
50.       1        ONLINE  ONLINE       oradb1                   Open                  
51. 2        ONLINE  ONLINE       oradb2                   Open                  

二十五、我们可以看到实例已经成功添加，至此整个RAC的节点替换已经完成