oracle11g r2 rac环境添加节点

oracle11g r2 rac环境添加节点
步骤：
1.安装操作系统，操作系统的版本要现在集群节点的版本一致
2.配置网络连接，存储网络连接
要保证网络连接正常设置相应的ip地址（包括设置私有ip地址）目前我们两个节点的私有网络是直接的，这要需要改成通过交换机进行连接
要保证新增节点能够正常连接到存储上，识别出共享磁盘，目前我们两个节点连接存储是通过直连的方式，这个要改成通过光纤交换机进行连接
需要在新增的第三个节点上配置共享磁盘的映射
如果使用的是udev映射，如下
拷贝节点1的/etc/udev/rules.d/99-oracle-asmdevices.rules 到新增节点
执行：
/sbin/start_udev
检查映射是否正常
在节点1执行：
[root@rac1 ~]# /sbin/scsi_id -g -u /dev/asm-diskb
360050763008083c57000000000000002
[root@rac1 ~]# /sbin/scsi_id -g -u /dev/asm-diskc
360050763008083c57000000000000003
[root@rac1 ~]# /sbin/scsi_id -g -u /dev/asm-diskd
360050763008083c57000000000000004
[root@rac1 ~]# /sbin/scsi_id -g -u /dev/asm-diske
360050763008083c57000000000000005
[root@rac1 ~]# /sbin/scsi_id -g -u /dev/asm-diskf
360050763008083c57000000000000006
[root@rac1 ~]# /sbin/scsi_id -g -u /dev/asm-diskg
360050763008083c57000000000000007
然后在新增节点3上执行
[root@rac3 ~]# /sbin/scsi_id -g -u /dev/asm-diskb
[root@rac3 ~]# /sbin/scsi_id -g -u /dev/asm-diskc
[root@rac3~]# /sbin/scsi_id -g -u /dev/asm-diskd
[root@rac3 ~]# /sbin/scsi_id -g -u /dev/asm-diske
[root@rac3 ~]# /sbin/scsi_id -g -u /dev/asm-diskf
[root@rac3 ~]# /sbin/scsi_id -g -u /dev/asm-diskg
执行结果如果和节点1执行的一一对应表示绑定正确
3.配置3个节点的hosts文件
如下配置：
#rac1
192.168.56.105 rac1
192.168.56.2 rac1-vip
192.168.1.110 rac1-priv
#rac2
192.168.56.104 rac2
192.168.56.3 rac2-vip
192.168.1.111 rac2-priv
#scanip
192.168.56.88 cluster-scanip
#添加节点的ip地址配置
#rac3
192.168.56.103 rac2
192.168.56.4 rac2-vip
192.168.1.112 rac2-priv
4.配置新增节点系统配置
修改系统参数
配置limit.conf
添加如下：(根据实际情况配置)
root     soft  nproc  unlimited
root     hard  nproc  unlimited
root     soft  nofile 16384
root     hard  nofile 65536
oracle   soft  nproc  131072
oracle   hard  nproc  131072
oracle   soft  nofile  65536
oracle   hard  nofile  65536
grid   soft   nofile    65536
grid   hard   nofile    65536
grid   soft   nproc    131072
grid   hard   nproc    131072
grid   soft   stack    10240
grid   hard   stack    32768
配置内核参数sysctl.conf
新增如下内容：
kernel.shmall = 4294967296
kernel.shmmax = 4398046511104
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 6815744
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
执行sysctl –p生效
安装oracle需要的操作系统包
如下：
binutils-2.20.51.0.2-5.11.el6 (x86_64)
compat-libcap1-1.10-1 (x86_64)
compat-libstdc++-33-3.2.3-69.el6 (x86_64)
compat-libstdc++-33-3.2.3-69.el6.i686
gcc-4.4.4-13.el6 (x86_64)
gcc-c++-4.4.4-13.el6 (x86_64)
glibc-2.12-1.7.el6 (i686)
glibc-2.12-1.7.el6 (x86_64)
glibc-devel-2.12-1.7.el6 (x86_64)
glibc-devel-2.12-1.7.el6.i686
ksh
libgcc-4.4.4-13.el6 (i686)
libgcc-4.4.4-13.el6 (x86_64)
libstdc++-4.4.4-13.el6 (x86_64)
libstdc++-4.4.4-13.el6.i686
libstdc++-devel-4.4.4-13.el6 (x86_64)
libstdc++-devel-4.4.4-13.el6.i686
libaio-0.3.107-10.el6 (x86_64)
libaio-0.3.107-10.el6.i686
libaio-devel-0.3.107-10.el6 (x86_64)
libaio-devel-0.3.107-10.el6.i686
make-3.81-19.el6
sysstat-9.0.4-11.el6 (x86_64)
检查方法
rpm -q package_name
如果包没有安装，请进行安装
如果机器能访问外网可以通过如下进行安装
yum install package_name 
5.创建用户组和目录
用户组的id和用户的id要节点1和节点2的一样
groupadd -g 6000 oinstall
groupadd -g 5000 asmadmin
groupadd -g 5001 asmdba
groupadd -g 5002 asmoper
groupadd -g 6001 dba
groupadd -g 6002 oper
useradd -u 500 -g oinstall -G asmadmin,asmdba,asmoper -d /home/grid -s /bin/bash  grid
useradd -u 501 -g oinstall -G dba,asmdba -d /home/oracle -s /bin/bash  oracle
创建目录：
mkdir -p /oracle/grid/orabase
mkdir -p /oracle/grid/11ggrid/app/11.2.0/grid
mkdir -p /oracle/oracle
chown -R oracle:oinstall /oracle
chown -R grid:oinstall /oracle/grid/orabase
chown -R grid:oinstall /oracle/grid/11ggrid/app/11.2.0/grid
chmod -R 775 /oracle
6.设置grid用户oracle用户环境变量
grid:
export GRID_HOME=/oracle/grid/11ggrid/app/11.2.0/grid
export ORACLE_HOME=/oracle/grid/11ggrid/app/11.2.0/grid
export PATH=$GRID_HOME/bin:$GRID_HOME/OPatch:/sbin:/bin:/usr/sbin:/usr/bin
export ORACLE_SID=+ASM3
export LD_LIBRARY_PATH=$GRID_HOME/lib:$GRID_HOME/lib32
export ORACLE_BASE=/oracle/grid/orabase
export ORA_NLS10=$ORACLE_HOME/nls/data
#export NLS_LANG="Simplified Chinese"_China.AL32UTF8
export NLS_LANG=American_America.AL32UTF8
export LANG=zh_CN.GBK
oracle:
export ORACLE_HOME=/oracle/oracle/app/oracle/product/11.2.0/dbhome_1
export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:/sbin:/bin:/usr/sbin:/usr/bin
export ORACLE_SID=orcl3
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/lib32
export ORACLE_BASE=/oracle/oracle
#export ORA_NLS10=$ORACLE_HOME/nls/data
#export NLS_LANG="Simplified Chinese"_China.AL32UTF8
export NLS_LANG=American_America.AL32UTF8
export LANG=C
7.配置ssh用户对等性
参见对等性配置
8.使用cvu验证添加节点是否符合要求（在已经存在的节点的grid和oracle用户下验证）
$ cluvfy stage -pre nodeadd -n <New Node> -verbose
9.添加节点到clusterware
$ cd $CRS_HOME/oui/bin
$ ./addNode.sh -silent "CLUSTER_NEW_NODES={<NewNodeName>}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={<Interconnect>}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={<Virtual Host Name>}"
执行如下语句添加节点3在添加前会检查节点是否满足条件，如果不满足某一个检查项脚本会退出，请确认检查项是否可以忽略
rac2-> ./addNode.sh -silent "CLUSTER_NEW_NODES={rac3}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={rac3-priv}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={rac3-vip}"
Performing pre-checks for node addition 
Checking node reachability...
Node reachability check passed from node "rac2"
Checking user equivalence...
User equivalence check passed for user "grid"
Checking CRS integrity...
如果确认检查项可以忽略，需要设置跳过添加节点检查
rac2->  export IGNORE_PREADDNODE_CHECKS=Y
rac2-> ./addNode.sh -silent "CLUSTER_NEW_NODES={rac3}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={rac3-priv}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={rac3-vip}"
Starting Oracle Universal Installer...
Checking swap space: must be greater than 500 MB.   Actual 2999 MB    Passed
Oracle Universal Installer, Version 11.2.0.4.0 Production
Copyright (C) 1999, 2013, Oracle. All rights reserved.
Performing tests to see whether nodes rac1,rac3 are available
............................................................... 100% Done.
10. 执行root.sh脚本在第9步执行成功后会提示在新增的节点执行root.sh脚本
在第9步执行结束时提示如下 ：
Save inventory complete
WARNING:A new inventory has been created on one or more nodes in this session. However, it has not yet been registered as the central inventory of this system. 
To register the new inventory please run the script at '/oracle/app/oraInventory/orainstRoot.sh' with root privileges on nodes 'rac3'.
If you do not register the inventory, you may not be able to update or patch the products you installed.
The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.
/oracle/app/oraInventory/orainstRoot.sh #On nodes rac3
/oracle/app/11.2.0/grid/root.sh #On nodes rac3
To execute the configuration scripts:
    1. Open a terminal window
    2. Log in as "root"
3. Run the scripts in each cluster node
执行完后会提示执行orainstRoot.sh和root.sh脚本
11. 确认新节点是否添加成功
$ cluvfy stage -post nodeadd -n <NewNode>
检查资源是否都正常
crsct stat res –t 
显示如下：
rac3-> crsctl stat res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATADG.dg
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.GRIDDATA.dg
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.LISTENER.lsnr
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               OFFLINE OFFLINE      rac3                                         
ora.asm
               ONLINE  ONLINE       rac1                     Started             
               ONLINE  ONLINE       rac2                     Started             
               ONLINE  ONLINE       rac3                     Started             
ora.gsd
               OFFLINE OFFLINE      rac1                                         
               OFFLINE OFFLINE      rac2                                         
               OFFLINE OFFLINE      rac3                                         
ora.net1.network
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.ons
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       rac3                                         
ora.cvu
      1        ONLINE  ONLINE       rac3                                         
ora.oc4j
      1        ONLINE  ONLINE       rac3                                         
ora.orcl.db
      1        ONLINE  ONLINE       rac1                     Open                
      2        ONLINE  ONLINE       rac2                     Open                
ora.rac1.vip
      1        ONLINE  ONLINE       rac1                                         
ora.rac2.vip
      1        ONLINE  ONLINE       rac2                                         
ora.scan1.vip
      1        ONLINE  ONLINE       rac3   
12.添加完之后发现新增节点的监听是offline状态的需要修改节点的监听文件
修改添加节点的endpoints_listener.ora文件;
修改ip地址为新增节点的vip和固定ip
rac3-> cat endpoints_listener.ora
LISTENER_RAC3=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.56.4)(PORT=1521))(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.56.106)(PORT=1521)(IP=FIRST))))             # line added by Agent
注：如果新增节点vip资源没有添加到crs，需要手动添加如下
在root用户下执行：
srvctl add vip -n rac3 -k 1 -A 192.168.56.4/255.255.255.0/eth0 -v
启动vip资源
srvctl start vip -n rac3
13. 添加oracle软件到新增节点
在节点1或者节点2的oracle用户执行
$ cd $ORACLE_HOME/oui/bin
$ ./addNode.sh -silent "CLUSTER_NEW_NODES={<NewNodeName>}"
rac2-> ./addNode.sh -silent "CLUSTER_NEW_NODES={rac3}"
Performing pre-checks for node addition 
Checking node reachability...
Node reachability check passed from node "rac2"
Checking user equivalence...
User equivalence check passed for user "oracle"
WARNING: 
Node "rac3" already appears to be part of cluster
Pre-check for node addition was successful. 
Starting Oracle Universal Installer...
Checking swap space: must be greater than 500 MB.   Actual 2999 MB    Passed
Oracle Universal Installer, Version 11.2.0.4.0 Production
Copyright (C) 1999, 2013, Oracle. All rights reserved.
Performing tests to see whether nodes rac1,rac3 are available
............................................................... 100% Done.

14.在新增的节点运行root.sh脚本（步骤12执行完后提示运行root.sh）
在第12步结束时会提示执行root.sh脚本如下
Save inventory complete
WARNING:
The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.
/oracle/app/oracle/product/11.2.0/db_1/root.sh #On nodes rac3
To execute the configuration scripts:
    1. Open a terminal window
    2. Log in as "root"
    3. Run the scripts in each cluster node  
The Cluster Node Addition of /oracle/app/oracle/product/11.2.0/db_1 was successful.
Please check '/tmp/silentInstall.log' for more details.
15. 验证添加的oracle软件是否成功
$ cluvfy stage -post nodeadd -n <NewNode>
16. 拷拷贝其他节点的tnsnames.ora文件到新增节点，并进行相应的修改
17. 添加新增节点的数据库实例使用dbca图形化界面添加
也是可以使用静默方式添加实例如下：
dbca -silent -addInstance -nodeList node_name -gdbName gdb_name [-instanceName instance_name -sysDBAUserName sysdba -sysDBAPassword password]

node_name： The node on which you want to add (or delete) the instance.
gdb_name ：Global database name.
instance_name ： Name of the instance. Provide an instance name only if you want to override the Oracle naming convention for Oracle RAC instance names.
sysdba ：Name of the Oracle user with SYSDBA privileges.
password ： Password for the SYSDBA user.
查看集群的状态如下
rac1-> crsctl status res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATADG.dg
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.GRIDDATA.dg
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.LISTENER.lsnr
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.LISTENERW.lsnr
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.asm
               ONLINE  ONLINE       rac1                     Started             
               ONLINE  ONLINE       rac2                     Started             
               ONLINE  ONLINE       rac3                     Started             
ora.gsd
               OFFLINE OFFLINE      rac1                                         
               OFFLINE OFFLINE      rac2                                         
               OFFLINE OFFLINE      rac3                                         
ora.net1.network
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
ora.ons
               ONLINE  ONLINE       rac1                                         
               ONLINE  ONLINE       rac2                                         
               ONLINE  ONLINE       rac3                                         
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       rac3                                         
ora.cvu
      1        ONLINE  ONLINE       rac3                                         
ora.oc4j
      1        ONLINE  ONLINE       rac3                                         
ora.orcl.db
      1        ONLINE  ONLINE       rac1                     Open                
      2        ONLINE  ONLINE       rac2                     Open                
      3        ONLINE  ONLINE       rac3                     Open                
ora.rac1.vip
      1        ONLINE  ONLINE       rac1                                         
ora.rac2.vip
      1        ONLINE  ONLINE       rac2                                         
ora.rac3.vip
      1        ONLINE  ONLINE       rac3                                         
ora.scan1.vip
      1        ONLINE  ONLINE       rac3      
18.修改新增节点undo表空间大小
alter database datafile '+DATADG/orcl/datafile/undotbs3.xxx.xxxxx' reszie 8G;
alter tablespace undotbs3 add datafile '+DATADG/orcl/datafile/undotbs3_1.dbf' size 8G;
alter tablespace undotbs3 add datafile '+DATADG/orcl/datafile/undotbs3_2.dbf' size 8G;
19.修改redo日志大小以及组数
alter database add  logfile thread 3
group 8  '+SYSTEMDG/orcl/onlinelog/redo3_1.log' size 500M;
alter database add  logfile thread 1
group 9  '+SYSTEMDG/orcl/onlinelog/redo3_2.log' size500M;
alter database add  logfile thread 1
group 10  '+SYSTEMDG/orcl/onlinelog/redo3_3.log' size 500M;
alter database add  logfile thread 1
group 11  '+SYSTEMDG/orcl/onlinelog/redo3_4.log' size 500M;
20.拷贝rac其他一个节点的密码文件到新增节点并改名
21.根据规划创建相应服务名以供应用程序连接