前提条件:
这是对一套基于两个节点的rac环境的添加,添加节点之前已安装好操作系统;
内核参数已经进行修改;ORACLE用户已初始化;成功并正确的配置和共享存储;
相关rpm包均已配置;与当前rac环境中各个节点互通。
一 .初始化第三台节点
首先就需要对新节点进行适当的配置,以满足rac中的一员。
1.1配置hosts的文件
修改hosts中的文件,包括下面的内容,每个节点都需要添加
vi/etc/hosts
192.168.1.172 vrh3 vrh3.oracle.com
192.168.1.186 vrh3-vip
192.168.1.190 vrh5 vrh5.oracle.com
192.168.1.191 vrh5-vip
192.168.1.187 vrh4 vrh4.oracle.com
192.168.1.188 vrh4-vip
172.168.1.191 vrh3-priv
172.168.1.192 vrh4-priv
172.168.1.193 vrh5-priv
1.2 配置SSH密钥认证
保证用户不用手工输入密码,需要配置SSH来实现这一点。
首先在新增加的节点vrh5上执行下面的动作
Su – oracle
Mkdir ~/.ssh
Chmod 700 .ssh
ssh-keygen -trsa
ssh-keygen -tdsa
之后登陆到节点vrh3上面,以oracle的用户进行操作
Ssh vrh5cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Ssh vrh5cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
最后传输vrh3节点中配置好的认证密钥信息到节点2和3,执行下面的操作:
Scp ~/.ssh/ authorized_keys vrh4:~/.ssh/authorized_keys
Scp ~/.ssh/ authorized_keys vrh5:~/.ssh/authorized_keys
配置好之后,在三个节点分别执行下面的操作:
ssh vrh3 date
ssh vrh4 date
ssh vrh5 date
ssh vrh3-priv date
ssh vrh4-priv date
ssh vrh5-priv date
1.3配置ASM 共享盘
选择创建已存在的磁盘,之后对asm和裸设备的绑定。
对裸设备的绑定
ACTION=="add", KERNEL=="sdb1",RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdb2",RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdb3",RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="raw*",OWNER=="oracle", GROUP=="oinstall",
MODE=="0660"
对asm设备的绑定
KERNEL=="sd*", BUS=="scsi",PROGRAM=="/sbin/scsi_id -g -u -s
%p",RESULT=="SATA_VBOX_HARDDISK_VBa327a0b8-0f3c5a51_",NAME="asm-
diskc", OWNER="oracle",GROUP="oinstall"
, MODE="0660"
KERNEL=="sd*", BUS=="scsi",PROGRAM=="/sbin/scsi_id -g -u -s
%p",RESULT=="SATA_VBOX_HARDDISK_VB9bd79e41-b6df0fd1_",NAME="asm-
diskd", OWNER="oracle",GROUP="oinstall"
, MODE="0660"
KERNEL=="sd*", BUS=="scsi",PROGRAM=="/sbin/scsi_id -g -u -s
%p",RESULT=="SATA_VBOX_HARDDISK_VB7439ef9c-ae44c306_",NAME="asm-
diske", OWNER="oracle",GROUP="oinstall"
, MODE="0660"
二.添加clusterware到新节点
2.1 检查安装的环境:
首先检查安装的环境,使用runcluvfy.sh进行验证,在节点1上运行下面语
句 check一下节点的安装的环境。
/s01/10201_crs/clusterware/cluvfy/runcluvfy.shstage - pre crsinst –
n vrh5
–verbose
Check 成功一切正常的,可以进行安装了。
2.2 安装clusterware到新节点
在节点一上执
行,/s01/oracle/app/product/10.2.1/crs_01/oui/bin/addNode.sh增加节点
看到当前已有的节点列表。在下方输入框中输入新结点的信息,包括public-
name,privatename等,这部分信息应与hosts 文件中完全匹配才行,之后点击
下一步
当文件复制好之后,提示运行下面的脚本:
/s01/oraInventory/orainstRoot.sh vrh5
/s01/oracle/app/product/10.2.0/crs_1/install/rootaddnode.sh vrh3
/s01/oracle/app/product/10.2.0/crs_1/root.sh
安装提示分别在节点上执行上面的脚本,需要用root权限去执行。
之后配置vip
Root.sh 执行完成后,默认情况下会自动调用vipca,用来配置虚拟IP 的网络
接口服务,
不过如果前面root.sh 脚本执行时因为bug 原因,未能自动调用vipca,那么
在root 执行完毕
后,手动执行vipca 命令即可打开配置窗口,该项配置比较简单,基本上全面
点击下一步即
可。
三.复制oracle软件到新节点
复制oracle软件,在节点vrh3中执行下面的操作
/s01/oracle/oracle/product/10.2.2/db_1/oui/bin
/.addNode.sh
点击next,添加vrh5节点,之后install
安装结束之后在节点vrh5上面运行
/s01/oracle/oracle/product/10.2.2/db_1/root.sh脚本。
结束之后点击ok,即可。
四.在节点三上面配置监听器
到节点vrh5上的$ORACLE_HOME/network/admin/listener.ora
LISTENER_VRH5 =
(DESCRIPTION_LIST =
(DESCRIPTION =
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST = vrh5-vip)(PORT= 1521)(IP
= FIRST))
)
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST =192.168.1.190)(PORT =
1521)(IP = FIRST))
)
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = IPC)(KEY =EXTPROC))
)
)
)
五.添加实例到新节点和删除
使用dbca在新的节点上面添加instance
之后点击下一步选择instance Management管理,
选择添加instance
之后输入sysdba的用户和密码。
之后选择vrh3和vrh4的几点
之后创建asm相关的实例选择.yes
至此oracle 的instance实例添加成功。
删除instance步骤同上。
之后删除asm实例,
./srvctl stop asm –nvrh5
./srvctl removeasm –n vrh5
删除之后可以使用如下命令查询
[oracle@vrh3 ~]$cd /s01/oracle/app/product/10.2.0/crs_1/bin/
[oracle@vrh3 bin]$./crs_stat –t
六.删除节点
1停止所有的服务
(数据库、ASM、监听、nodeapps)
2、停止CRS
#Crsctl stopcrs
#init.crs stopcrs
3、 删除与系统启动相关的文件
rm/sbin/init.d/init.cssd
rm/sbin/init.d/init.crs
rm/sbin/init.d/init.crsd
rm /sbin/init.d/init.evmd
rm/sbin/rc2.d/K960init.crs
rm/sbin/rc2.d/K001init.crs
rm/sbin/rc3.d/K960init.crs
rm /sbin/rc3.d/S960init.crs
rm -Rf/var/opt/oracle/scls_scr
rm -Rf /var/opt/oracle/oprocd
rm/etc/inittab.crs
cp/etc/inittab.orig /etc/inittab
4、Kill掉遗留的CRS进程(或重启机器)
ps -ef | grepcrs
kill <crspid>
ps -ef | grepevm
kill <evm pid>
ps -ef | grepcss
kill <csspid>
5、 删除临时文件
rm -f/var/tmp/.oracle
或
rm -f/tmp/.oracle
6、 删除/etc/oracle/ocr.loc文件
7、使用Oracle Universal Installer卸载CRS软件
8、擦除ocr和voting磁盘的内容*
dd if=/dev/zeroof=/dev/raw/raw1 bs=8192 count=2056
dd if=/dev/zeroof=/dev/raw/raw2 bs=8192 count=2056
dd if=/dev/zeroof=/dev/sdb bs=8192 count=2056
dd if=/dev/zeroof=/dev/sdc bs=8192 count=2056
dd if=/dev/zeroof=/dev/sdd bs=8192 count=2056
dd if=/dev/zeroof=/dev/sde bs=8192 count=2056
这是对一套基于两个节点的rac环境的添加,添加节点之前已安装好操作系统;
内核参数已经进行修改;ORACLE用户已初始化;成功并正确的配置和共享存储;
相关rpm包均已配置;与当前rac环境中各个节点互通。
一 .初始化第三台节点
首先就需要对新节点进行适当的配置,以满足rac中的一员。
1.1配置hosts的文件
修改hosts中的文件,包括下面的内容,每个节点都需要添加
vi/etc/hosts
192.168.1.172 vrh3 vrh3.oracle.com
192.168.1.186 vrh3-vip
192.168.1.190 vrh5 vrh5.oracle.com
192.168.1.191 vrh5-vip
192.168.1.187 vrh4 vrh4.oracle.com
192.168.1.188 vrh4-vip
172.168.1.191 vrh3-priv
172.168.1.192 vrh4-priv
172.168.1.193 vrh5-priv
1.2 配置SSH密钥认证
保证用户不用手工输入密码,需要配置SSH来实现这一点。
首先在新增加的节点vrh5上执行下面的动作
Su – oracle
Mkdir ~/.ssh
Chmod 700 .ssh
ssh-keygen -trsa
ssh-keygen -tdsa
之后登陆到节点vrh3上面,以oracle的用户进行操作
Ssh vrh5cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Ssh vrh5cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
最后传输vrh3节点中配置好的认证密钥信息到节点2和3,执行下面的操作:
Scp ~/.ssh/ authorized_keys vrh4:~/.ssh/authorized_keys
Scp ~/.ssh/ authorized_keys vrh5:~/.ssh/authorized_keys
配置好之后,在三个节点分别执行下面的操作:
ssh vrh3 date
ssh vrh4 date
ssh vrh5 date
ssh vrh3-priv date
ssh vrh4-priv date
ssh vrh5-priv date
1.3配置ASM 共享盘
选择创建已存在的磁盘,之后对asm和裸设备的绑定。
对裸设备的绑定
ACTION=="add", KERNEL=="sdb1",RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdb2",RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdb3",RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="raw*",OWNER=="oracle", GROUP=="oinstall",
MODE=="0660"
对asm设备的绑定
KERNEL=="sd*", BUS=="scsi",PROGRAM=="/sbin/scsi_id -g -u -s
%p",RESULT=="SATA_VBOX_HARDDISK_VBa327a0b8-0f3c5a51_",NAME="asm-
diskc", OWNER="oracle",GROUP="oinstall"
, MODE="0660"
KERNEL=="sd*", BUS=="scsi",PROGRAM=="/sbin/scsi_id -g -u -s
%p",RESULT=="SATA_VBOX_HARDDISK_VB9bd79e41-b6df0fd1_",NAME="asm-
diskd", OWNER="oracle",GROUP="oinstall"
, MODE="0660"
KERNEL=="sd*", BUS=="scsi",PROGRAM=="/sbin/scsi_id -g -u -s
%p",RESULT=="SATA_VBOX_HARDDISK_VB7439ef9c-ae44c306_",NAME="asm-
diske", OWNER="oracle",GROUP="oinstall"
, MODE="0660"
二.添加clusterware到新节点
2.1 检查安装的环境:
首先检查安装的环境,使用runcluvfy.sh进行验证,在节点1上运行下面语
句 check一下节点的安装的环境。
/s01/10201_crs/clusterware/cluvfy/runcluvfy.shstage - pre crsinst –
n vrh5
–verbose
Check 成功一切正常的,可以进行安装了。
2.2 安装clusterware到新节点
在节点一上执
行,/s01/oracle/app/product/10.2.1/crs_01/oui/bin/addNode.sh增加节点
看到当前已有的节点列表。在下方输入框中输入新结点的信息,包括public-
name,privatename等,这部分信息应与hosts 文件中完全匹配才行,之后点击
下一步
当文件复制好之后,提示运行下面的脚本:
/s01/oraInventory/orainstRoot.sh vrh5
/s01/oracle/app/product/10.2.0/crs_1/install/rootaddnode.sh vrh3
/s01/oracle/app/product/10.2.0/crs_1/root.sh
安装提示分别在节点上执行上面的脚本,需要用root权限去执行。
之后配置vip
Root.sh 执行完成后,默认情况下会自动调用vipca,用来配置虚拟IP 的网络
接口服务,
不过如果前面root.sh 脚本执行时因为bug 原因,未能自动调用vipca,那么
在root 执行完毕
后,手动执行vipca 命令即可打开配置窗口,该项配置比较简单,基本上全面
点击下一步即
可。
三.复制oracle软件到新节点
复制oracle软件,在节点vrh3中执行下面的操作
/s01/oracle/oracle/product/10.2.2/db_1/oui/bin
/.addNode.sh
点击next,添加vrh5节点,之后install
安装结束之后在节点vrh5上面运行
/s01/oracle/oracle/product/10.2.2/db_1/root.sh脚本。
结束之后点击ok,即可。
四.在节点三上面配置监听器
到节点vrh5上的$ORACLE_HOME/network/admin/listener.ora
LISTENER_VRH5 =
(DESCRIPTION_LIST =
(DESCRIPTION =
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST = vrh5-vip)(PORT= 1521)(IP
= FIRST))
)
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST =192.168.1.190)(PORT =
1521)(IP = FIRST))
)
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = IPC)(KEY =EXTPROC))
)
)
)
五.添加实例到新节点和删除
使用dbca在新的节点上面添加instance
之后点击下一步选择instance Management管理,
选择添加instance
之后输入sysdba的用户和密码。
之后选择vrh3和vrh4的几点
之后创建asm相关的实例选择.yes
至此oracle 的instance实例添加成功。
删除instance步骤同上。
之后删除asm实例,
./srvctl stop asm –nvrh5
./srvctl removeasm –n vrh5
删除之后可以使用如下命令查询
[oracle@vrh3 ~]$cd /s01/oracle/app/product/10.2.0/crs_1/bin/
[oracle@vrh3 bin]$./crs_stat –t
六.删除节点
1停止所有的服务
(数据库、ASM、监听、nodeapps)
2、停止CRS
#Crsctl stopcrs
#init.crs stopcrs
3、 删除与系统启动相关的文件
rm/sbin/init.d/init.cssd
rm/sbin/init.d/init.crs
rm/sbin/init.d/init.crsd
rm /sbin/init.d/init.evmd
rm/sbin/rc2.d/K960init.crs
rm/sbin/rc2.d/K001init.crs
rm/sbin/rc3.d/K960init.crs
rm /sbin/rc3.d/S960init.crs
rm -Rf/var/opt/oracle/scls_scr
rm -Rf /var/opt/oracle/oprocd
rm/etc/inittab.crs
cp/etc/inittab.orig /etc/inittab
4、Kill掉遗留的CRS进程(或重启机器)
ps -ef | grepcrs
kill <crspid>
ps -ef | grepevm
kill <evm pid>
ps -ef | grepcss
kill <csspid>
5、 删除临时文件
rm -f/var/tmp/.oracle
或
rm -f/tmp/.oracle
6、 删除/etc/oracle/ocr.loc文件
7、使用Oracle Universal Installer卸载CRS软件
8、擦除ocr和voting磁盘的内容*
dd if=/dev/zeroof=/dev/raw/raw1 bs=8192 count=2056
dd if=/dev/zeroof=/dev/raw/raw2 bs=8192 count=2056
dd if=/dev/zeroof=/dev/sdb bs=8192 count=2056
dd if=/dev/zeroof=/dev/sdc bs=8192 count=2056
dd if=/dev/zeroof=/dev/sdd bs=8192 count=2056
dd if=/dev/zeroof=/dev/sde bs=8192 count=2056