Oracle 10g RAC 添加节点

目前环境是一个版本为10.2.0.5的双节点RAC,hostname分别为racnode1,racnode2需要添加新节点racnode3。

OS版本是Oracle Linux 5.7 x86_64

保证RAC正常运行

配置public IP,private IP,VIP,将这些信息配置到/etc/hosts文件中

1. 192.168.1.51            racnode1  
2. 192.168.1.151           racnode1-vip  
3. 172.168.1.51            racnode1-priv  
4.   
5. 192.168.1.52            racnode2  
6. 192.168.1.152           racnode2-vip  
7. 172.168.1.52            racnode2-priv  
8.   
9. 192.168.1.53            racnode3  
10. 192.168.1.153           racnode3-vip  
11. 172.168.1.53            racnode3-priv  

安装相关的rpm包,配置系统内核参数,我这里使用的是Oracle Linux5提供的的oracle-validated包进行安装配置

1. [root@racnode3 ~]# yum -y install oracle-validated  
2. Loaded plugins: rhnplugin, security  
3. This system is not registered with ULN.  
4. ULN support will be disabled.  
5. Setting up Install Process  
6. Package oracle-validated-1.1.0-15.el5.x86_64 already installed and latest version  

同步各节点的时间,我这里使用的是NTP服务

1. [root@racnode3 ~]# crontab -l  
2. */5 * * * * /usr/sbin/ntpdate 0.asia.pool.ntp.org > /dev/null 2>&1  

配置共享磁盘

1. [root@racnode3 ~]# cat /etc/udev/rules.d/60-raw.rules   
2. # Enter raw device bindings here.  
3. #  
4. # An example would be:  
5. #   ACTION=="add", KERNEL=="sda", RUN+="/bin/raw /dev/raw/raw1 %N"  
6. # to bind /dev/raw/raw1 to /dev/sda, or  
7. #   ACTION=="add", ENV{MAJOR}=="8", ENV{MINOR}=="1", RUN+="/bin/raw /dev/raw/raw2 %M %m"  
8. # to bind /dev/raw/raw2 to the device with major 8, minor 1.  
9. ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"  
10. ACTION=="add", KERNEL=="sdb2", RUN+="/bin/raw /dev/raw/raw2 %N"  
11. ACTION=="add", KERNEL=="sdc1", RUN+="/bin/raw /dev/raw/raw3 %N"  
12. ACTION=="add", KERNEL=="sdc2", RUN+="/bin/raw /dev/raw/raw4 %N"  
13. ACTION=="add", KERNEL=="sdc3", RUN+="/bin/raw /dev/raw/raw5 %N"  
14. ACTION=="add", KERNEL=="raw*", OWNER=="oracle", GROUP=="oinstall", MODE=="0660"  
15. [root@racnode3 ~]# cat /etc/udev/rules.d/99-oracle-asmdevices.rules   
16. KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VB5407c582-c0bbcc9c_", NAME="asm-diskd", OWNER="oracle", GROUP="oinstall", MODE="0660"  
17. KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VB2048e338-447949c0_", NAME="asm-diske", OWNER="oracle", GROUP="oinstall", MODE="0660"  
18. KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VB6d6f72b0-997f769f_", NAME="asm-diskf", OWNER="oracle", GROUP="oinstall", MODE="0660"  
19. KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VB867b3aae-2e3a3f0b_", NAME="asm-diskg", OWNER="oracle", GROUP="oinstall", MODE="0660"  
20. KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VB4dcf4abf-0266b2fc_", NAME="asm-diskh", OWNER="oracle", GROUP="oinstall", MODE="0660"  
21. [root@racnode3 ~]#   
22. [root@racnode3 ~]# start_udev  
23. Starting udev:                                             [  OK  ]  
24. [root@racnode3 ~]# ls -l /dev/raw/raw*  
25. crw-rw---- 1 oracle oinstall 162, 1 Dec 24 14:31 /dev/raw/raw1  
26. crw-rw---- 1 oracle oinstall 162, 2 Dec 24 14:31 /dev/raw/raw2  
27. crw-rw---- 1 oracle oinstall 162, 3 Dec 24 14:31 /dev/raw/raw3  
28. crw-rw---- 1 oracle oinstall 162, 4 Dec 24 14:31 /dev/raw/raw4  
29. crw-rw---- 1 oracle oinstall 162, 5 Dec 24 14:31 /dev/raw/raw5  
30. [root@racnode3 ~]# ls -l /dev/asm-disk*  
31. brw-rw---- 1 oracle oinstall 8,  48 Dec 24 14:31 /dev/asm-diskd  
32. brw-rw---- 1 oracle oinstall 8,  64 Dec 24 14:31 /dev/asm-diske  
33. brw-rw---- 1 oracle oinstall 8,  80 Dec 24 14:31 /dev/asm-diskf  
34. brw-rw---- 1 oracle oinstall 8,  96 Dec 24 14:31 /dev/asm-diskg  
35. brw-rw---- 1 oracle oinstall 8, 112 Dec 24 14:31 /dev/asm-diskh  

配置ssh用户等效性

1. [oracle@racnode1 ~]$ ssh racnode1 date;ssh racnode2 date;ssh racnode3 date  
2. Mon Dec 24 14:37:08 CST 2012  
3. Mon Dec 24 14:37:08 CST 2012  
4. Mon Dec 24 14:37:08 CST 2012  
5. [oracle@racnode1 ~]$ ssh racnode1-priv date;ssh racnode2-priv date;ssh racnode3-priv date  
6. Mon Dec 24 14:37:15 CST 2012  
7. Mon Dec 24 14:37:16 CST 2012  
8. Mon Dec 24 14:37:16 CST 2012  

1. [oracle@racnode2 ~]$ ssh racnode1 date;ssh racnode2 date;ssh racnode3 date  
2. Mon Dec 24 14:38:22 CST 2012  
3. Mon Dec 24 14:38:22 CST 2012  
4. Mon Dec 24 14:38:22 CST 2012  
5. [oracle@racnode2 ~]$ ssh racnode1-priv date;ssh racnode2-priv date;ssh racnode3-priv date  
6. Mon Dec 24 14:38:27 CST 2012  
7. Mon Dec 24 14:38:27 CST 2012  
8. Mon Dec 24 14:38:27 CST 2012  

1. [oracle@racnode3 ~]$ ssh racnode1 date;ssh racnode2 date;ssh racnode3 date  
2. Mon Dec 24 14:40:39 CST 2012  
3. Mon Dec 24 14:40:39 CST 2012  
4. Mon Dec 24 14:40:39 CST 2012  
5. [oracle@racnode3 ~]$ ssh racnode1-priv date;ssh racnode2-priv date;ssh racnode3-priv date  
6. Mon Dec 24 14:40:54 CST 2012  
7. Mon Dec 24 14:40:54 CST 2012  
8. Mon Dec 24 14:40:54 CST 2012  

配置racnode3 oracle用户的环境变量

1. alias ls="ls -FA"  
2.   
3. export JAVA_HOME=/usr/local/java  
4.   
5. # User specific environment and startup programs  
6. export ORACLE_BASE=/u01/app/oracle  
7. export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1  
8. export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs  
9. export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin  
10. export CV_JDKHOME=/usr/local/java  
11.   
12.                                            
13. export ORACLE_SID=racdb3  
14.   
15. export PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin  
16. export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin  
17. export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin  
18. export ORACLE_TERM=xterm  
19. export TNS_ADMIN=$ORACLE_HOME/network/admin  
20. export ORA_NLS10=$ORACLE_HOME/nls/data  
21. export NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"  
22. export DISPLAY=192.168.2.224:0.0  
23. export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK  
24. export LD_LIBRARY_PATH=$ORACLE_HOME/lib  
25. export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib  
26. export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib  
27. export CLASSPATH=$ORACLE_HOME/JRE  
28. export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib  
29. export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib  
30. export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib  
31. export THREADS_FLAG=native  
32. export TEMP=/tmp  
33. export TMPDIR=/tmp  
34.   
35. alias ls="ls -FA"  
36. alias sqlplus="rlwrap sqlplus"  
37. alias rman="rlwrap rman"  
38. alias ggsci="rlwrap ggsci"  
39. alias logdump="rlwrap logdump"  
40. alias asmcmd="rlwrap asmcmd"  
41. alias base="cd $ORACLE_BASE"  
42. alias home="cd $ORACLE_HOME"  

添加RAC Clusterware节点

在racnode1使用oracle用户执行$ORA_CRS_HOME/oui/bin/addNode.sh

1. [oracle@racnode1 ~]$ cd /u01/app/oracle/product/10.2.0/crs/oui/bin/  
2. [oracle@racnode1 bin]$ ./addNode.sh   
3. Starting Oracle Universal Installer...  
4.   
5.   
6. No pre-requisite checks found in oraparam.ini, no system pre-requisite checks will be executed.  
7. Oracle Universal Installer, Version 10.2.0.5.0 Production  
8. Copyright (C) 1999, 2010, Oracle. All rights reserved.  

用root用户在racnode3上运行

/u01/app/oracle/oraInventory/orainstRoot.sh

1. [root@racnode3 ~]# /u01/app/oracle/oraInventory/orainstRoot.sh  
2. Changing permissions of /u01/app/oracle/oraInventory to 770.  
3. Changing groupname of /u01/app/oracle/oraInventory to oinstall.  
4. The execution of the script is complete  

用root用户在racnode1上运行

/u01/app/oracle/product/10.2.0/crs/install/rootaddnode.sh

1. [root@racnode1 ~]# /u01/app/oracle/product/10.2.0/crs/install/rootaddnode.sh  
2. clscfg: EXISTING configuration version 3 detected.  
3. clscfg: version 3 is 10G Release 2.  
4. Attempting to add 1 new nodes to the configuration  
5. Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.  
6. node <nodenumber>: <nodename> <private interconnect name> <hostname>  
7. node 3: racnode3 racnode3-priv racnode3  
8. Creating OCR keys for user 'root', privgrp 'root'..  
9. Operation successful.  
10. /u01/app/oracle/product/10.2.0/crs/bin/srvctl add nodeapps -n racnode3 -A racnode3-vip/255.255.0.0/eth0 -o /u01/app/oracle/product/10.2.0/crs  

用root用户在racnode3运行

/u01/app/oracle/product/10.2.0/crs/root.sh

1. [root@racnode3 ~]# /u01/app/oracle/oraInventory/orainstRoot.sh  
2. Changing permissions of /u01/app/oracle/oraInventory to 770.  
3. Changing groupname of /u01/app/oracle/oraInventory to oinstall.  
4. The execution of the script is complete  
5. [root@racnode3 ~]# /u01/app/oracle/product/10.2.0/crs/root.sh  
6. WARNING: directory '/u01/app/oracle/product/10.2.0' is not owned by root  
7. WARNING: directory '/u01/app/oracle/product' is not owned by root  
8. WARNING: directory '/u01/app/oracle' is not owned by root  
9. WARNING: directory '/u01/app' is not owned by root  
10. No value set for the CRS parameter CRS_OCR_LOCATIONS. Using Values in paramfile.crs  
11. Checking to see if Oracle CRS stack is already configured  
12. /etc/oracle does not exist. Creating it now.  
13. OCR LOCATIONS =  /dev/raw/raw1,/dev/raw/raw2  
14. OCR backup directory '/u01/app/oracle/product/10.2.0/crs/cdata/crs' does not exist. Creating now  
15. Setting the permissions on OCR backup directory  
16. Setting up NS directories  
17. Oracle Cluster Registry configuration upgraded successfully  
18. WARNING: directory '/u01/app/oracle/product/10.2.0' is not owned by root  
19. WARNING: directory '/u01/app/oracle/product' is not owned by root  
20. WARNING: directory '/u01/app/oracle' is not owned by root  
21. WARNING: directory '/u01/app' is not owned by root  
22. clscfg: EXISTING configuration version 3 detected.  
23. clscfg: version 3 is 10G Release 2.  
24. Successfully accumulated necessary OCR keys.  
25. Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.  
26. node <nodenumber>: <nodename> <private interconnect name> <hostname>  
27. node 1: racnode1 racnode1-priv racnode1  
28. node 2: racnode2 racnode2-priv racnode2  
29. clscfg: Arguments check out successfully.  
30.   
31. NO KEYS WERE WRITTEN. Supply -force parameter to override.  
32. -force is destructive and will destroy any previous cluster  
33. configuration.  
34. Oracle Cluster Registry for cluster has already been initialized  
35. Startup will be queued to init within 30 seconds.  
36. Adding daemons to inittab  
37. Expecting the CRS daemons to be up within 600 seconds.  
38. CSS is active on these nodes.  
39.     racnode1  
40.     racnode2  
41.     racnode3  
42. CSS is active on all nodes.  
43. Waiting for the Oracle CRSD and EVMD to start  
44. Waiting for the Oracle CRSD and EVMD to start  
45. Oracle CRS stack installed and running under init(1M)  

脚本全部执行后Exit退出

在racnode3上安装Oracle Database software

在racnode1上使用oracle用户执行$ORACLE_HOME/oui/bin/addNode.sh

1. [oracle@racnode1 bin]$ cd /u01/app/oracle/product/10.2.0/db_1/oui/bin/  
2. [oracle@racnode1 bin]$ ./addNode.sh   
3. Starting Oracle Universal Installer...  
4.   
5. No pre-requisite checks found in oraparam.ini, no system pre-requisite checks will be executed.  
6. Oracle Universal Installer, Version 10.2.0.5.0 Production  
7. Copyright (C) 1999, 2010, Oracle. All rights reserved.  

用root用户在racnode3上执行

/u01/app/oracle/product/10.2.0/db_1/root.sh

1. [root@racnode3 ~]# /u01/app/oracle/product/10.2.0/db_1/root.sh  
2. Running Oracle 10g root.sh script...  
3.   
4. The following environment variables are set as:  
5.     ORACLE_OWNER= oracle  
6.     ORACLE_HOME=  /u01/app/oracle/product/10.2.0/db_1  
7.   
8. Enter the full pathname of the local bin directory: [/usr/local/bin]:   
9.    Copying dbhome to /usr/local/bin ...  
10.    Copying oraenv to /usr/local/bin ...  
11.    Copying coraenv to /usr/local/bin ...  
12.   
13.   
14. Creating /etc/oratab file...  
15. Entries will be added to the /etc/oratab file as needed by  
16. Database Configuration Assistant when a database is created  
17. Finished running generic part of root.sh script.  
18. Now product-specific root actions will be performed.  

执行之后Exit退出

配置监听

1. [oracle@racnode3 admin]$ cat listener.ora   
2. # listener.ora.racnode2 Network Configuration File: /u01/app/oracle/product/10.2.0/db_1/network/admin/listener.ora.racnode2  
3. # Generated by Oracle configuration tools.  
4.   
5. LISTENER_RACNODE3 =  
6.   (DESCRIPTION_LIST =  
7.     (DESCRIPTION =  
8.       (ADDRESS_LIST =  
9.         (ADDRESS = (PROTOCOL = TCP)(HOST = racnode3-vip)(PORT = 1521)(IP = FIRST))  
10.       )  
11.       (ADDRESS_LIST =  
12.         (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.53)(PORT = 1521)(IP = FIRST))  
13.       )  
14.       (ADDRESS_LIST =  
15.         (ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC))  
16.       )  
17.     )  
18.   )  
19.   
20. [oracle@racnode3 admin]$ cat tnsnames.ora   
21. # tnsnames.ora Network Configuration File: /u01/app/oracle/product/10.2.0/db_1/network/admin/tnsnames.ora  
22. # Generated by Oracle configuration tools.  
23.   
24. RACDB1 =  
25.   (DESCRIPTION =  
26.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode1-vip)(PORT = 1521))  
27.     (CONNECT_DATA =  
28.       (SERVER = DEDICATED)  
29.       (SERVICE_NAME = racdb)  
30.       (INSTANCE_NAME = racdb1)  
31.     )  
32.   )  
33.   
34. RACDB =  
35.   (DESCRIPTION =  
36.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode1-vip)(PORT = 1521))  
37.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode2-vip)(PORT = 1521))  
38.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode3-vip)(PORT = 1521))  
39.     (LOAD_BALANCE = yes)  
40.     (CONNECT_DATA =  
41.       (SERVER = DEDICATED)  
42.       (SERVICE_NAME = racdb)  
43.     )  
44.   )  
45.   
46. LISTENERS_RACDB =  
47.   (ADDRESS_LIST =  
48.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode1-vip)(PORT = 1521))  
49.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode2-vip)(PORT = 1521))  
50.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode3-vip)(PORT = 1521))  
51.   )  
52.   
53. RACDB2 =  
54.   (DESCRIPTION =  
55.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode2-vip)(PORT = 1521))  
56.     (CONNECT_DATA =  
57.       (SERVER = DEDICATED)  
58.       (SERVICE_NAME = racdb)  
59.       (INSTANCE_NAME = racdb2)  
60.     )  
61.   )  
62.   
63. RACDB3 =  
64.   (DESCRIPTION =  
65.     (ADDRESS = (PROTOCOL = TCP)(HOST = racnode3-vip)(PORT = 1521))  
66.     (CONNECT_DATA =  
67.       (SERVER = DEDICATED)  
68.       (SERVICE_NAME = racdb)  
69.       (INSTANCE_NAME = racdb3)  
70.     )  
71.   )  

在racnode1上使用DBCA添加racnode3的instance

点击No

验证

1. SQL> select INSTANCE_NAME,HOST_NAME,VERSION,STARTUP_TIME,STATUS,ACTIVE_STATE,INSTANCE_ROLE,DATABASE_STATUS from gv$INSTANCE;  
2.   
3. INSTANCE_NAME    HOST_NAME   VERSION           STARTUP_TIME        STATUS       ACTIVE_ST INSTANCE_ROLE  DATABASE_STATUS  
4. ---------------- ----------- ----------------- ----------------------- ------------ --------- ------------------ -----------------  
5. racdb2       racnode2    10.2.0.5.0        20-DEC-2012 16:07:46    OPEN     NORMAL    PRIMARY_INSTANCE   ACTIVE  
6. racdb1       racnode1    10.2.0.5.0        20-DEC-2012 16:07:46    OPEN     NORMAL    PRIMARY_INSTANCE   ACTIVE  
7. racdb3       racnode3    10.2.0.5.0        24-DEC-2012 16:32:35    OPEN     NORMAL    PRIMARY_INSTANCE   ACTIVE  
8.   
9. SQL> exit  
10. Disconnected from Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production  
11. With the Partitioning, Real Application Clusters, OLAP, Data Mining  
12. and Real Application Testing options  
13. [oracle@racnode2 ~]$ crs_stat -t -v  
14. Name           Type           R/RA   F/FT   Target    State     Host          
15. ----------------------------------------------------------------------  
16. ora.racdb.db   application    0/0    0/1    ONLINE    ONLINE    racnode1      
17. ora....b1.inst application    0/5    0/0    ONLINE    ONLINE    racnode1      
18. ora....b2.inst application    0/5    0/0    ONLINE    ONLINE    racnode2      
19. ora....b3.inst application    0/5    0/0    ONLINE    ONLINE    racnode3      
20. ora....SM1.asm application    0/5    0/0    ONLINE    ONLINE    racnode1      
21. ora....E1.lsnr application    0/5    0/0    ONLINE    ONLINE    racnode1      
22. ora....de1.gsd application    0/5    0/0    ONLINE    ONLINE    racnode1      
23. ora....de1.ons application    0/3    0/0    ONLINE    ONLINE    racnode1      
24. ora....de1.vip application    0/0    0/0    ONLINE    ONLINE    racnode1      
25. ora....SM2.asm application    0/5    0/0    ONLINE    ONLINE    racnode2      
26. ora....E2.lsnr application    0/5    0/0    ONLINE    ONLINE    racnode2      
27. ora....de2.gsd application    0/5    0/0    ONLINE    ONLINE    racnode2      
28. ora....de2.ons application    0/3    0/0    ONLINE    ONLINE    racnode2      
29. ora....de2.vip application    0/0    0/0    ONLINE    ONLINE    racnode2      
30. ora....SM3.asm application    0/5    0/0    ONLINE    ONLINE    racnode3      
31. ora....E3.lsnr application    0/5    0/0    ONLINE    ONLINE    racnode3      
32. ora....de3.gsd application    0/5    0/0    ONLINE    ONLINE    racnode3      
33. ora....de3.ons application    0/3    0/0    ONLINE    ONLINE    racnode3      
34. ora....de3.vip application    0/0    0/0    ONLINE    ONLINE    racnode3   

1. [oracle@racnode2 ~]$ sqlplus system@racdb1  
2.   
3. SQL*Plus: Release 10.2.0.5.0 - Production on Mon Dec 24 16:39:26 2012  
4.   
5. Copyright (c) 1982, 2010, Oracle.  All Rights Reserved.  
6.   
7. Enter password:   
8.   
9. Connected to:  
10. Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production  
11. With the Partitioning, Real Application Clusters, OLAP, Data Mining  
12. and Real Application Testing options  
13.   
14. SQL> show parameter local_lis  
15.   
16. NAME                     TYPE    VALUE  
17. ------------------------------------ ----------- ------------------------------  
18. local_listener               string  (ADDRESS = (PROTOCOL = TCP)(HO  
19.                          ST = 192.168.1.151)(PORT = 152  
20.                          1))  
21. SQL> exit  
22. Disconnected from Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production  
23. With the Partitioning, Real Application Clusters, OLAP, Data Mining  
24. and Real Application Testing options  
25. [oracle@racnode2 ~]$ sqlplus system@racdb2  
26.   
27. SQL*Plus: Release 10.2.0.5.0 - Production on Mon Dec 24 16:39:38 2012  
28.   
29. Copyright (c) 1982, 2010, Oracle.  All Rights Reserved.  
30.   
31. Enter password:   
32.   
33. Connected to:  
34. Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production  
35. With the Partitioning, Real Application Clusters, OLAP, Data Mining  
36. and Real Application Testing options  
37.   
38. SQL> show parameter local_lis  
39.   
40. NAME                     TYPE    VALUE  
41. ------------------------------------ ----------- ------------------------------  
42. local_listener               string  (ADDRESS = (PROTOCOL = TCP)(HO  
43.                          ST = 192.168.1.152)(PORT = 152  
44.                          1))  
45. SQL> exit  
46. Disconnected from Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production  
47. With the Partitioning, Real Application Clusters, OLAP, Data Mining  
48. and Real Application Testing options  
49. [oracle@racnode2 ~]$ sqlplus system@racdb3  
50.   
51. SQL*Plus: Release 10.2.0.5.0 - Production on Mon Dec 24 16:39:47 2012  
52.   
53. Copyright (c) 1982, 2010, Oracle.  All Rights Reserved.  
54.   
55. Enter password:   
56.   
57. Connected to:  
58. Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production  
59. With the Partitioning, Real Application Clusters, OLAP, Data Mining  
60. and Real Application Testing options  
61.   
62. SQL> show parameter local_lis  
63.   
64. NAME                     TYPE    VALUE  
65. ------------------------------------ ----------- ------------------------------  
66. local_listener               string  
67. SQL> alter system set local_listener ='(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.153)(PORT = 1521))' sid='racdb3';  
68.   
69. System altered.  
70.   
71. SQL> show parameter local_lis  
72.   
73. NAME                     TYPE    VALUE  
74. ------------------------------------ ----------- ------------------------------  
75. local_listener               string  (ADDRESS = (PROTOCOL = TCP)(HO  
76.                          ST = 192.168.1.153)(PORT = 152  
77.                          1))  
78. SQL>   

1. [oracle@racnode3 ~]$ lsnrctl status  
2.   
3. LSNRCTL for Linux: Version 10.2.0.5.0 - Production on 24-DEC-2012 16:42:41  
4.   
5. Copyright (c) 1991, 2010, Oracle.  All rights reserved.  
6.   
7. Connecting to (ADDRESS=(PROTOCOL=tcp)(HOST=)(PORT=1521))  
8. STATUS of the LISTENER  
9. ------------------------  
10. Alias                     LISTENER_RACNODE3  
11. Version                   TNSLSNR for Linux: Version 10.2.0.5.0 - Production  
12. Start Date                24-DEC-2012 16:33:03  
13. Uptime                    0 days 0 hr. 9 min. 37 sec  
14. Trace Level               off  
15. Security                  ON: Local OS Authentication  
16. SNMP                      OFF  
17. Listener Parameter File   /u01/app/oracle/product/10.2.0/db_1/network/admin/listener.ora  
18. Listener Log File         /u01/app/oracle/product/10.2.0/db_1/network/log/listener_racnode3.log  
19. Listening Endpoints Summary...  
20.   (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=192.168.1.153)(PORT=1521)))  
21.   (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=192.168.1.53)(PORT=1521)))  
22.   (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC)))  
23. Services Summary...  
24. Service "+ASM" has 1 instance(s).  
25.   Instance "+ASM3", status BLOCKED, has 1 handler(s) for this service...  
26. Service "+ASM_XPT" has 1 instance(s).  
27.   Instance "+ASM3", status BLOCKED, has 1 handler(s) for this service...  
28. Service "racdb" has 3 instance(s).  
29.   Instance "racdb1", status READY, has 1 handler(s) for this service...  
30.   Instance "racdb2", status READY, has 1 handler(s) for this service...  
31.   Instance "racdb3", status READY, has 2 handler(s) for this service...  
32. Service "racdbXDB" has 3 instance(s).  
33.   Instance "racdb1", status READY, has 1 handler(s) for this service...  
34.   Instance "racdb2", status READY, has 1 handler(s) for this service...  
35.   Instance "racdb3", status READY, has 1 handler(s) for this service...  
36. Service "racdb_XPT" has 3 instance(s).  
37.   Instance "racdb1", status READY, has 1 handler(s) for this service...  
38.   Instance "racdb2", status READY, has 1 handler(s) for this service...  
39.   Instance "racdb3", status READY, has 2 handler(s) for this service...  
40. The command completed successfully  

1. [oracle@racnode3 ~]$ lsnrctl service  
2.   
3. LSNRCTL for Linux: Version 10.2.0.5.0 - Production on 24-DEC-2012 16:43:07  
4.   
5. Copyright (c) 1991, 2010, Oracle.  All rights reserved.  
6.   
7. Connecting to (ADDRESS=(PROTOCOL=tcp)(HOST=)(PORT=1521))  
8. Services Summary...  
9. Service "+ASM" has 1 instance(s).  
10.   Instance "+ASM3", status BLOCKED, has 1 handler(s) for this service...  
11.     Handler(s):  
12.       "DEDICATED" established:0 refused:0 state:ready  
13.          LOCAL SERVER  
14. Service "+ASM_XPT" has 1 instance(s).  
15.   Instance "+ASM3", status BLOCKED, has 1 handler(s) for this service...  
16.     Handler(s):  
17.       "DEDICATED" established:0 refused:0 state:ready  
18.          LOCAL SERVER  
19. Service "racdb" has 3 instance(s).  
20.   Instance "racdb1", status READY, has 1 handler(s) for this service...  
21.     Handler(s):  
22.       "DEDICATED" established:0 refused:0 state:ready  
23.          REMOTE SERVER  
24.          (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.151)(PORT=1521))  
25.   Instance "racdb2", status READY, has 1 handler(s) for this service...  
26.     Handler(s):  
27.       "DEDICATED" established:0 refused:0 state:ready  
28.          REMOTE SERVER  
29.          (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.152)(PORT=1521))  
30.   Instance "racdb3", status READY, has 2 handler(s) for this service...  
31.     Handler(s):  
32.       "DEDICATED" established:0 refused:0 state:ready  
33.          REMOTE SERVER  
34.          (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.153)(PORT=1521))  
35.       "DEDICATED" established:1 refused:0 state:ready  
36.          LOCAL SERVER  
37. Service "racdbXDB" has 3 instance(s).  
38.   Instance "racdb1", status READY, has 1 handler(s) for this service...  
39.     Handler(s):  
40.       "D000" established:0 refused:0 current:0 max:1022 state:ready  
41.          DISPATCHER <machine: racnode1, pid: 13625>  
42.          (ADDRESS=(PROTOCOL=tcp)(HOST=racnode1)(PORT=30569))  
43.   Instance "racdb2", status READY, has 1 handler(s) for this service...  
44.     Handler(s):  
45.       "D000" established:0 refused:0 current:0 max:1022 state:ready  
46.          DISPATCHER <machine: racnode2, pid: 6359>  
47.          (ADDRESS=(PROTOCOL=tcp)(HOST=racnode2)(PORT=57869))  
48.   Instance "racdb3", status READY, has 1 handler(s) for this service...  
49.     Handler(s):  
50.       "D000" established:0 refused:0 current:0 max:1022 state:ready  
51.          DISPATCHER <machine: racnode3, pid: 1929>  
52.          (ADDRESS=(PROTOCOL=tcp)(HOST=racnode3)(PORT=59281))  
53. Service "racdb_XPT" has 3 instance(s).  
54.   Instance "racdb1", status READY, has 1 handler(s) for this service...  
55.     Handler(s):  
56.       "DEDICATED" established:0 refused:0 state:ready  
57.          REMOTE SERVER  
58.          (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.151)(PORT=1521))  
59.   Instance "racdb2", status READY, has 1 handler(s) for this service...  
60.     Handler(s):  
61.       "DEDICATED" established:0 refused:0 state:ready  
62.          REMOTE SERVER  
63.          (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.152)(PORT=1521))  
64.   Instance "racdb3", status READY, has 2 handler(s) for this service...  
65.     Handler(s):  
66.       "DEDICATED" established:0 refused:0 state:ready  
67.          REMOTE SERVER  
68.          (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.153)(PORT=1521))  
69.       "DEDICATED" established:1 refused:0 state:ready  
70.          LOCAL SERVER  
71. The command completed successfully  

1. [oracle@racnode3 ~]$ crsctl query crs activeversion  
2. CRS active version on the cluster is [10.2.0.5.0]  
3. [oracle@racnode3 ~]$ ocrcheck  
4. Status of Oracle Cluster Registry is as follows :  
5.      Version                  :          2  
6.      Total space (kbytes)     :    1469612  
7.      Used space (kbytes)      :       5384  
8.      Available space (kbytes) :    1464228  
9.      ID                       :  621085552  
10.      Device/File Name         : /dev/raw/raw1  
11.                                     Device/File integrity check succeeded  
12.      Device/File Name         : /dev/raw/raw2  
13.                                     Device/File integrity check succeeded  
14.   
15.      Cluster registry integrity check succeeded  
16.   
17. [oracle@racnode3 ~]$ crsctl query css votedisk  
18.  0.     0    /dev/raw/raw3  
19.  1.     0    /dev/raw/raw4  
20.  2.     0    /dev/raw/raw5  
21.   
22. located 3 votedisk(s).  

1. C:\>sqlplus system@rac3  
2.   
3. SQL*Plus: Release 10.2.0.1.0 - Production on 星期一 12月 24 16:44:50 2012  
4.   
5. Copyright (c) 1982, 2005, Oracle.  All rights reserved.  
6.   
7. 输入口令:  
8.   
9. 连接到:  
10. Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production  
11. With the Partitioning, Real Application Clusters, OLAP, Data Mining  
12. and Real Application Testing options  
13.   
14. SQL> show parameter instance_name  
15.   
16. NAME                                 TYPE        VALUE  
17. ------------------------------------ ----------- ------------------------------  
18. instance_name                        string      racdb3  
19. SQL> set linesize 400  
20. SQL> col host_name format a11  
21. SQL> select INSTANCE_NAME,HOST_NAME,VERSION,STARTUP_TIME,STATUS,ACTIVE_STATE,INSTANCE_ROLE,DATABASE_STATUS from gv$INSTANCE;  
22.   
23. INSTANCE_NAME    HOST_NAME   VERSION           STARTUP_TIME   STATUS       ACTIVE_ST INSTANCE_ROLE   DATABASE_STATUS  
24. ---------------- ----------- ----------------- -------------- ------------ --------- ------------------ ----------------  
25. racdb3           racnode3    10.2.0.5.0        24-12月-12     OPEN         NORMAL    PRIMARY_INSTANCE   ACTIVE  
26. racdb2           racnode2    10.2.0.5.0        20-12月-12     OPEN         NORMAL    PRIMARY_INSTANCE   ACTIVE  
27. racdb1           racnode1    10.2.0.5.0        20-12月-12     OPEN         NORMAL    PRIMARY_INSTANCE   ACTIVE