Vmware12 CentOS6 Oracle11g RAC

一、安装资源规划
1、 网络资源分配i，添加网卡
节点rac1,rac2虚拟机添加网卡并分配网络模式
NAT模式网卡用于外部通信，HOST-ONLY模式用于数据库内容通信。


2、 存储资源分配，创建共享磁盘
节点rac1,rac2虚拟机关机状态下添加两块硬盘
编辑虚拟机配置文件，添加如下内容
scsi1:1.deviceType = "disk"
scsi1:2.deviceType = "disk"
disk.locking = "FALSE" 
diskLib.dataCacheMaxSize= "0" 
scsi1.sharedBus ="virtual"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.DataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize = "4096"
diskLib.maxUnsyncedWrites = "0"




二、安装环境配置
1、配置网络
节点rac1,rac2 编辑/etc/hosts文件添加如下内容
### public network ###
192.168.1.161 rac1
192.168.1.162 rac2

### private network ###
192.168.2.161 rac1-priv
192.168.2.162 rac2-priv

### virtual network ###
192.168.1.171 rac1-vip
192.168.1.172 rac2-vip

### scan network ###
192.168.1.180 rac-cluster rac-scan

修改网络配置文件如下
ifcfg-eth0网卡内容
DEVICE=eth0
HWADDR=00:0C:29:58:93:85
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.1.161
NETMASK=255.255.255.0
GATEWAY=192.168.1.254
DNS1=192.168.1.254

ifcfg-eth1网卡内容如下
DEVICE=eth1
HWADDR=00:0C:29:58:93:8f
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.2.161
NETMASK=255.255.255.0

关闭网络管理服务NetworkManager
service NetworkManager stop
chkconfig NetworkManager off

2、主机名配置
主机名配置文件/etc/sysconfig/network
节点rac1
NETWORKING=yes
HOSTNAME=rac1
GATEWAY=192.168.1.254
NTPSERVERARGS=iburst
NOZEROCONF=yes

节点rac2
NETWORKING=yes
HOSTNAME=rac2
GATEWAY=192.168.1.254
NTPSERVERARGS=iburst
NOZEROCONF=yes

3、防火墙和系统安全配置
节点rac1,rac2关闭防火墙并禁止开机启动
service iptables stop
chkconfig iptables off

系统安全配置编辑内容如下
vi /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

4、关闭时间同步服务
节点rac1,rac2停止ntp服务，并关闭开机启动，因为oracle11g 启用css时间同步工具
service ntpd stop 
chkconfig ntpd stop

5、配置系统资源限制
节点rac1，rac2用户资源文件数，进程数资源配置
vi /etc/security/limits.conf 
*         soft    nofile        655360
*         hard           nofile         655360

6、系统内核参数
节点rac1,rac2内核参数配置
vi /etc/sysctl.conf
fs.aio-max-nr = 6553660
fs.file-max = 26234859
kernel.shmmax = 1073741824
kernel.shmall = 268435456
kernel.sem = 250 32000 100 128
kernel.shmmni = 4096
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_max = 1048576

执行如下命令内核参数配置生效
sysctl -p

7、创建用户和组及相关目录
节点rac1,rac2创建用户和组,注意两边的用户和组的ID号一定要保持一致
groupadd -g 1000 oinstall
groupadd -g 1200 asmadmin
groupadd -g 1201 asmdba
groupadd -g 1202 asmoper
groupadd -g 1300 dba
groupadd -g 1301 oper

useradd -g oinstall -G asmadmin,asmdba,asmoper,dba grid
useradd -g oinstall -G asmadmin,asmdba,dba,oper oracle

echo "root1234" | passwd --stdin grid 
echo "root1234" | passwd --stdin oracle

id grid
id oracle

节点rac1,rac2创建用目录
mkdir -p /u01/grid
mkdir -p /u01/app/grid/11.2.0
mkdir -p /u01/app/oracle

chown -R grid:oinstall /u01/grid
chown -R grid:oinstall /u01/app/grid/11.2.0
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01

8、配置用户环境变量
节点rac1用户grid环境变量
vi /home/grid/.bash_profile
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/grid
export ORACLE_HOME=/u01/app/grid/11.2.0
export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export LANG=en_US
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
alias sqlplus='rlwrap sqlplus'

节点rac2用户oracle环境变量
vi /home/oracle/.bash_profile 
export ORACLE_SID=orcl1
export ORACLE_UNQNAME=orcl
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export LANG=en_US
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'

节点rac2用户grid环境变量
vi /home/grid/.bash_profile
export ORACLE_SID=+ASM2
export ORACLE_BASE=/u01/grid
export ORACLE_HOME=/u01/app/grid/11.2.0
export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export LANG=en_US
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
alias sqlplus='rlwrap sqlplus'

节点rac2用户oracle环境变量
vi /home/oracle/.bash_profile 
export ORACLE_SID=orcl2
export ORACLE_UNQNAME=orcl
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export LANG=en_US
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'

节点rac1,rac2执行如下命令让环境变量文件生效
source /home/grid/.bash_profile
source /home/oracle/.bash_profile 

9、ssh双机信任服务
节点rac1,rac2配置grid,oracle用户免密连接
ssh-keygen -t rsa
ssh-keygen -t dsa
ssh-copy-id rac1
ssh-copy-id rac2
ssh rac1 date && ssh rac2 date

10、udev方式配置asm存储
节点rac1,rac2配置asm存储硬盘
生成硬盘uuid号
scsi_id --whitelisted --replace-whitespace --device=/dev/sdb
scsi_id --whitelisted --replace-whitespace --device=/dev/sdc

编辑udev规则文件
vi /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name" RESULT=="36000c29731bb5c80d89696677da16681", NAME="asm-ocr",  OWNER="grid", GROUP
="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name" RESULT=="36000c2937c33c141be265d8d14465527", NAME="asm-data",  OWNER="grid", GROU
P="asmadmin", MODE="0660"

重启udev守护进程识别新绑定的设备
start_udev
ls -l /dev/asm*

11、安装依赖包
节点rac1,rac2安装相关依赖包
yum install binutils-2.* compat-libstdc++-33* elfutils-libelf-0.* elfutils-libelf-devel-* gcc-4.* gcc-c++-4.* glibc-2.* glibc-common-2.* glibc-devel-2.* glibc-headers-2.* ksh-2* libaio-0.* libaio-devel-0.* libgcc-4.* libstdc++-4.* libstdc++-devel-4.* make-3.* unixODBC-2.* unixODBC-devel-2.* pdksh*    

12、重启系统
节点rac1,rac2重启
reboot

三、部署GRID软件步骤
1、安装cvuqdisk软件包
上传软件包到目录/home/grid 并安装cvuqdisk包用于集群校验工具发现共享磁盘
su - grid
cd /home/grid
unzip p13390677_112040_Linux-x86-64_3of7.zip
cd /home/grid/grid/rpm
export CVUQDISK_GRP=oinstall
rpm -iv cvuqdisk-1.0.9-1.rpm
cp  cvuqdisk-1.0.9-1.rpm rac:/home/oracle/
export CVUQDISK_GRP=oinstall
rpm -iv cvuqdisk-1.0.9-1.rpm

2、安装前检查
 ./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose -fixup

3、图形界面执行安装
root用户下执行xhost +
su - grid
cd grid/
./runInstaller

3.1、选择第三项，跳过软件更新

3.2、选择第一项安装和配置网格集群

3.3、选择第二项高级安装

3.4、添加简体中文语言

3.5、填写scan相关内容，取消配置GNS
rac-cluster
rac-scan
1521

3.6、添加节点rac2的公网名rac2和私网名rac2-vip,并输入grid用户密码严重ssh免密连接

3.7、检查网卡名称和对应的网段是否对应

3.8、添加表决磁盘，选择外部冗余，并更改查找路径为/dev/asm*，选择asm-ocr磁盘

3.9、配置数据库系统账号密码

3.10、选择第二项不按照IPM

3.11、检查用户组，默认选择下一步

3.12、确认安装目录是否跟grid用户配置文件中定义的一致

3.13、确认orainventory目录

3.14、查看检验结果，查看警告或报错的详细内容，如可以跳过直接选择忽略继续进行下一步

3.15、选择安装选项

3.16、按顺序执行安装工具提示的脚本

3.17、脚本执行成功后，选择下一步等待安装完成

4、检查集群资源状态，确保集健康
crs_stat -t -v

四、部署数据库软件
1、上传数据库软件
cd /home/oracle
unzip p13390677_112040_Linux-x86-64_1of7.zip
unzip p13390677_112040_Linux-x86-64_2of7.zip 

2、图形界面安装
root用户登录系统执行xhost +
su - oracle
cd /home/oracle/database/
./runInstaller

3、跟单节点数据库软件安装一致，需要注意的是两个节点都选上


五、创建ASM数据磁盘组
1、root用户登录系统执行xhost +

2、grid用户执行asmca创建磁盘组

六、创建数据库
1、oracle用户执行dbca创建数据库

2、跟单节点创建数据库一致，需要注意的是，创建数据库时两个节点都要选上


3、在数据存储类型中选择ASM存储管理，选择DATA磁盘组

4、等待安装完成