Redhat6+ Oracle11g Rac高可用架构部署

前提：安装两台装有redhat6.5版本Linux系统（物理内存至少2G）的虚拟机
IP地址分配：
节点 公网IP 实例名 私网IP VIP ScanIP
Rac1 192.168.17.128 orcl1 192.168.84.132 192.168.17.130 192.168.17.135
Rac2 192.168.17.129 orcl2 192.168.84.133 192.168.17.131
1.虚拟机网络设置
节点1：rac1,添加两块网卡，一块NAT模式，另一块仅主机模式
节点2：rac2,添加两块网卡，一块NAT模式，另一块仅主机模式
添加第一张网卡：

选择NAT模式：

添加网卡成功后，生成mac地址（修改ifcfg-eth0文件需要用到）

添加第二张网卡

选择仅主机模式：

添加第二张网卡成功后，生成mac地址（后续修改ifcfg-eth1文件需要用到）

添加网卡成功后根据上表进行ip地址的设置：
节点1的网络设置如下：
vi /etc/sysconfig/network-scripts/ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth1

查看节点一网络是否配置成功

节点二的网络设置如下:
vi /etc/sysconfig/network-scripts/ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth1

查看节点二网络是否配置成功

2.创建共享磁盘
共享磁盘的放置文件目录如图

进入windows的cmd命令行窗口到安装VMware软件的目录执行如下命令创建五块共享磁盘，就是两台主机共用的磁盘所以在另一台虚机上无需再次创建五个。

进入sharedisk可以看到磁盘创建成功

接下来将创建的共享磁盘挂载在两台虚拟机上

选择没有-flat的磁盘文件

挂载5次，两台主机都要进行挂载
3.操作系统配置(两台主机进行同样的操作)
每个节点的公网网卡名，私网网卡名应保持一致，例如：在节点1公网网卡名为eth0，私网网卡名eth1，则节点2的公网网卡名也应为eth0，私网网卡名应为eth1。注意：各个节点的同名网卡的配置文件“/etc/sysconfig/network-scripts/ifcfg-网卡名”也应相同！
vip/priv/scan命名规则如下：
-vip，代表VIP主机名；
-priv，代表priv主机名；
-scan，代表scan主机名；
（1） Public ip,scan ip, vip 必须在相同网段
（2） private ip 与上述ip 不能在相同网段；
针对IP地址分配如下，两个节点都需要在vi /etc/hosts文件中增加以下IP地址：
#public IP
192.168.17.128 rac1
192.168.17.129 rac2
#virtual IP
192.168.17.130 rac1-vip
192.168.17.131 rac2-vip
#rac scan IP
192.168.17.135 scanip
#private IP
192.168.84.132 rac1-priv
192.168.84.133 rac2-priv

配置yum源(必须要先挂载ISO镜像)：
vi /etc/yum.repos.d/local.repo

[local]
name=local
baseurl=file:///mnt
enabled=1
gpgcheck=0
挂载：mount /dev/cdrom /mnt

下载相关软件包

yum install  -y bc*  binutils-*  compat-*  compat-libstdc++-*  glibc-*  glibc-devel-*  ksh*  libaio-*  libaio-devel-*  libX11-*  libXau-*  libXi-*  libXtst-*  libXrender*  libXrender-devel*  libgcc-*  libstdc++-*  libstdc++-devel-*  libxcb-*  make-*  nfs-utils-*  net-tools-2.0-0.17.20131004git.el7   smartmontools-*  sysstat-*  gcc*

检查语句：

rpm -e ksh binutils elfutils elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc-common glibc-devel compat-libstdc++-33 cpp make compat-db sysstat libaio libaio-devel unixODBC unixODBC-devel libaio libXp xterm compat-libcap1 | sort

可以看到有几个依赖包没有安装成功，继续下载

–关闭防火墙
双节点：
[root@localhost etc]# service iptables stop
iptables: Setting chains to policy ACCEPT: mangle nat filte[ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]

开机不启动防火墙
[root@localhost~]# chkconfig iptables off

–关闭SELinux
双节点：
vi /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled

修改主机名：
[root@rac1 ~]# vi /etc/sysconfig/network

–swap空间
[root@rac1~]# grep SwapTotal /proc/meminfo

–关闭Transparent HugePages
Verify the THP (Transparent hugepage) mode
#cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never <<---- THP is enabled

–禁用透明大页：
在文件/etc/grub.conf的kernel boot一行后添加transparent_hugepage=never

[root@dev-rac01 ~]# cat /etc/grub.conf | grep kernel | grep -v ‘^#’

–创建用户

/usr/sbin/groupadd -g 1000 oinstall
/usr/sbin/groupadd -g 1020 dba
/usr/sbin/groupadd -g 1021 oper
/usr/sbin/groupadd -g 1042 backupdba
/usr/sbin/groupadd -g 1041 dgdba
/usr/sbin/groupadd -g 1052 kmdba
/usr/sbin/groupadd -g 1033 asmdba
/usr/sbin/groupadd -g 1034 asmoper
/usr/sbin/groupadd -g 1035 asmadmin

/usr/sbin/useradd -u 1102 -g oinstall -G dba,asmadmin,asmdba,asmoper,oper,dba grid
/usr/sbin/useradd -u 1101 -g oinstall -G dba,oper,backupdba,dgdba,kmdba,asmdba,asmadmin oracle

–修改用户密码
双节点：
[root@rac1 ~]# echo oracle |passwd --stdin oracle
[root@rac1 ~]# echo grid |passwd --stdin grid

–更改软件包权限
节点1：
[root@rac1 ~]# chown -R grid:oinstall /home/software/
[root@rac1 ~]# chmod -R 775 /home/software/

–资源限制配置
修改服务器参数配置文件/etc/security/limits.conf，/etc/pam.d/login：
双节点：
vi /etc/security/limits.conf

#ORACLE SETTING
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768
oracle soft memlock unlimited
oracle hard memlock unlimited
grid soft memlock unlimited
grid hard memlock unlimited

vi /etc/pam.d/login
#ORACLE SETTING
添加session required pam_limits.so语句

–内核参数配置
修改服务器参数配置文件/etc/sysctl.conf 添加如下内容：
双节点：

#ORACLE SETTING
fs.aio-max-nr = 3145728
fs.file-max = 55837270
kernel.shmall = 79115059
kernel.shmmax = 324055282484  
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
vm.hugetlb_shm_group=1000

说明：
sysctl -p使生效

[root@rac1 ~]# cat /proc/sys/net/ipv4/ip_local_port_range
9000 65500

–计算分页大小
#getconf PAGE_SIZE
4096

503GB计算SHMMAX
[root@rac1 ~]# echo "503 * 1024^3 *0.6 "| bc
324055282483.2

503GB的SHMALL计算公式
[root@rac1 ~]# echo “503 * 1024^3 *0.6 / 4096”| bc
79115059

SHMMNI 设置为 4096
ORACLE建议fs.file-max不能小于6815744，对于小于该值的计算值，则取
fs.file-max=6815744
–用户环境变量
节点1：
oracle:

vi /home/oracle/.bash_profile
umask 022
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl1
export PATH=$PATH:$ORACLE_HOME/bin:/sbin:/usr/sbin:/bin:/usr/local/bin:$ORACLE_HOME/OPatch
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/rdbms/lib:/lib:/usr/lib
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
#alias sqlplus='rlwrap sqlplus'
#alias rman='rlwrap rman'

grid:

vi /home/grid/.bash_profile
umask 022
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin:$ORACLE_HOME/OPatch
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/rdbms/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$ORACLE_HOME/lib
export TEMP=/tmp
export TMPDIR=/tmp
export THREADS_FLAG=native
export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"
export NLS_TIMESTAMP_FORMAT="yyyy-mm-dd hh24:mi:ss"
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

节点2：
oracle:
vi /home/oracle/.bash_profile

umask 022
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl2
export PATH=$PATH:$ORACLE_HOME/bin:/sbin:/usr/sbin:/bin:/usr/local/bin:$ORACLE_HOME/OPatch
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/rdbms/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib
export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"
export NLS_TIMESTAMP_FORMAT="yyyy-mm-dd hh24:mi:ss"
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

Grid:
vi /home/grid/.bash_profile

umask 022
export ORACLE_SID=+ASM2
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin:$ORACLE_HOME/OPatch
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/rdbms/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$ORACLE_HOME/lib
export TEMP=/tmp
export TMPDIR=/tmp
export THREADS_FLAG=native
export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"
export NLS_TIMESTAMP_FORMAT="yyyy-mm-dd hh24:mi:ss"
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

–移除resolv.conf
mv /etc/resolv.conf /etc/resolv.conf.bak

重启os
reboot
–检查透明大页
双节点：
[root@dev-rac01 ~]# cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
always madvise [never]
结果：never表明当前透明大页是禁用的。
cat /sys/kernel/mm/transparent_hugepage/enabled
–检查SELinux
双节点：
[root@dev-rac01 ~]# getenforce
Disabled

–GI安装准备
创建目录
双节点：
[root@dev-rac01 ~]# mkdir -p /u01/app/11.2.0/grid
[root@dev-rac01 ~]# mkdir -p /u01/app/grid
[root@dev-rac01 ~]# mkdir -p /u01/app/oracle
授权目录
双节点：
[root@dev-rac01 ~]# chown -R grid:oinstall /u01
[root@dev-rac01 ~]# chown oracle:oinstall /u01/app/oracle
[root@dev-rac01 ~]# chmod -R 775 /u01/

双节点：
–udev配置
绑定前需要查看下虚机的配置文件的disk.EnableUUID参数需要是TRUE，如果不是需要关闭操作系统修改参数后再重启

（两台主机挂载的盘必须一样，99-oracle-asmdevices.rules也要一样）运行以下脚本，会自动生成/etc/udev/rules.d/99-oracle-asmdevices.rules

>/etc/udev/rules.d/99-oracle-asmdevices.rules
export DISK=0
for i in b c d e f 
do
DISK=$(expr $DISK + 1)
UUID=`scsi_id -gud /dev/sd$i`
echo "KERNEL==\"sd*\", SUBSYSTEM==\"block\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\",  RESULT==\"$UUID\", NAME=\"asm-disk$DISK\",  OWNER=\"grid\",  GROUP=\"asmadmin\", MODE=\"0660\" " >>/etc/udev/rules.d/99-oracle-asmdevices.rules
done

其中的RESULT就是磁盘的uuid

KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",  RESULT=="36000c297bb93a63b6c669fee4080bdc4", NAME="asm-disk1",  OWNER="grid",  GROUP="asmadmin", MODE="0660" 
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",  RESULT=="36000c29dbe610c0d17744ffeb7349d8c", NAME="asm-disk2",  OWNER="grid",  GROUP="asmadmin", MODE="0660" 
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",  RESULT=="36000c2961d548b16b30698e7b34a6520", NAME="asm-disk3",  OWNER="grid",  GROUP="asmadmin", MODE="0660" 
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",  RESULT=="36000c297ddf6f6897a1956694a46aa4e", NAME="asm-disk4",  OWNER="grid",  GROUP="asmadmin", MODE="0660" 
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",  RESULT=="36000c29de8fb18a1c5761b9f6855cee9", NAME="asm-disk5",  OWNER="grid",  GROUP="asmadmin", MODE="0660"

重启UDEV以使上述设置生效：

/sbin/udevadm control --reload-rules
/sbin/start_udev

修改/etc/multipath.conf中的wwid:

multipath {
wwid  36000c297bb93a63b6c669fee4080bdc4
alias OCR1
}
multipath {
wwid 36000c29dbe610c0d17744ffeb7349d8c
alias OCR2
}
multipath {
wwid 36000c2961d548b16b30698e7b34a6520
alias OCR3
}
multipath {
wwid 36000c297ddf6f6897a1956694a46aa4e
alias DATA1
}
multipath {
wwid 36000c29de8fb18a1c5761b9f6855cee9
alias ARCH
}

cat /etc/multipath.conf

–权限确认
ll /dev/as*
[root@rac1 ~]# ll /dev/as*

brw-rw---- 1 grid asmadmin 8, 16 Aug 28 23:59 /dev/asm-disk1
brw-rw---- 1 grid asmadmin 8, 32 Aug 28 23:59 /dev/asm-disk2
brw-rw---- 1 grid asmadmin 8, 48 Aug 28 23:59 /dev/asm-disk3
brw-rw---- 1 grid asmadmin 8, 64 Aug 28 23:59 /dev/asm-disk4
brw-rw---- 1 grid asmadmin 8, 80 Aug 28 22:35 /dev/asm-disk5

[root@rac1 ~]# ll /dev/mapper/*

crw-rw---- 1 root root 10, 58 Aug 28 22:32 /dev/mapper/control
lrwxrwxrwx 1 root root      7 Aug 28 22:32 /dev/mapper/VolGroup-lv_root -> ../dm-0
lrwxrwxrwx 1 root root      7 Aug 28 22:32 /dev/mapper/VolGroup-lv_swap -> ../dm-1

上传安装文件到/home/software/并解压缩，共三个压缩包，1,2解压出来为database，3解压出来为grid
unzip p13390677_112040_Linux-x86-64_1of7.zip
unzip p13390677_112040_Linux-x86-64_2of7.zip
unzipp13390677_112040_Linux-x86-64_3of7.zip

进入grid目录，可以看到有个sshsetup文件，cd sshsetup,可以看到有个sshUserSetup.sh脚本，用来配置用户互信

rac1节点（rac2节点不用运行，在节点1操作即可）：
grid和oracle用户都要运行：
./sshUserSetup.sh -user grid -hosts “rac1 rac2” -advanced -noPromptPassphrase
./sshUserSetup.sh -user oracle-hosts “rac1 rac2” -advanced -noPromptPassphrase
需要输入四次grid/oracle的密码
Grid用户的密码：grid
oracle用户的密码：oracle

互信配置成功，以下是测试验证(两个节点都要进行测试)
Su - grid
Ssh rac1 date
Ssh rac2 date
Ssh rac1-priv date
Ssh rac2-priv date
Su - oracle
Ssh rac1 date
Ssh rac2 date
Ssh rac1-priv date
Ssh rac2-priv date

4.安装gi软件
以grid用户登录第一个节点主机，然后执行./runInstaller命令出现以下安装界面,
选择skip software updates,然后next

选择”Install and Configure Oracle Grid Infrastructure for a Cluster”，然后单击next

选择”Advanced Installation”，单击next

选择安装语言，默认为英语，直接点击next

输入Cluster Name为scanip, SCAN Name为scanip，SCAN Port为1521，注意SCAN Name必须与/etc/hosts文件中设置的一致；另外，这里不配GNS，然后点击next：

点击Add按钮，添加新的public hostname:rac2和virtual hostname:rac2-vip

配置ssh单击”ssh connectivity”按钮：输入grid的密码后点击setup

出现以下界面说明ssh配置完成：

确认子网无误后单击next

选择“Oracle Automatic Storage Managemnet(Oracle ASM)”，单击“Next”

单击Change Discovery Path按钮设置ASM磁盘访问路径（这里设置真实磁盘访问路径，此处为多路径磁盘的访问路径/dev/as*），然后单击“OK”：

选择大小3个大小为2G的共享磁盘，然后点击next

选择Use same passwords for these accounts,输入口令，然后单击next

密码过于简单不符合oracle推荐的密码设置标准，单击yes

选择Do not use intelligent platform Management interface(IPMI),然后next

单击next

确认grid用户的ORACLE_BASE路径为/home/app/grid，ORACLE_HOME路径为/u01/app/11.2.0/grid，确认无误后单击Next

确认Inventory Directory为/home/app/oraInventory，然后单击“Next”按钮执行下一步：

安装前检查界面：

出现以下检查结果界面：

选择Ignore All,单击yes

出现安装概要界面，确认无误后单击install

安装进度界面：

接着出现以下界面：

以root用户登录节点一，执行以上两个脚本

以root用户登录节点二，执行以上脚本

节点一和节点二执行结束后，单击OK,会继续进行安装

出现以下界面：由于SCAN VIP主机名scanip没有在DNS注册导致Oracle Cluster Verification Utility 失败，可以忽略错误，单击ok

单击yes

单击close,至此grid软件安装结束

5.DB软件安装
以oracle用户登录节点一，打开Xmanager - Passive在xshell上执行Export DISPLAY=192.168.17.1：0.0，然后执行./runInstaller出现安装界面：
选择 I will to…,然后单击next

单击yes

选择skip software updates,单击next

选择install database software only,单击next

选择oracle Real Application Clusters database installation,确认已勾选rac2

单击SSH connectivity,设置oracle的密码，然后单击setup

出现以下成功界面，单击ok,然后单击next

选择安装语言，默认为英语

选择Enterprise Edition（4.7G),单击next

确认安装路径，单击next

单击next

安装检查界面：

安装检查结果界面：选择Ignore All

单击yes

安装概要界面：单击install

安装进度界面：

以root用户登录节点一和节点二，分别执行以下脚本

都执行结束后，单击ok，出现以下界面，单击close,db软件安装完成。

6.创建ASM磁盘组
以root用户登录节点一执行asmca创建DATADG和ARCHDG

单击”是”出现安装界面：

单击create,选择/dev/asm-disk4,选择External，创建DATADG磁盘组

单击ok，DATADG创建成功

单击create,选择/dev/asm-disk5,选择External，创建ARCHDG磁盘组

单击ok，ARCHDG创建成功

可以看到磁盘组已经创建成功：

7.创建数据库
以oracle用户登录节点一，执行dbca创建数据库
出现安装界面：
选择Oracle Real Application Cluster(RAC) database,单击next

选择create a Database,单击next

选择自定义数据库，单击next

填写数据库实例名，rac1和rac2都要选上

单击next

设置密码，单击next

单击yes

设置内存：

设置进程数：

设置字符集：

设置连接模式

都设置完成后，单击All Initialization Parameters查看初始化参数


创建数据库概要界面，单击OK

选择Create Database,单击finish

创建进度界面：

单击exit,数据库创建完成

crsctl status res -t

ps -ef|grep pmon

注意：
（1）ORACLE_SID要与.bash_profile中的一样，切换实例使用命令：export ORACLE_SID=实例名
（2）若没有安装rlwrap,需要将Bash_profile中的alias sqlplus=‘rlwrap sqlplus’/alias rman='rlwrap rman’行进行注释
（3）修改vi .bash_profile 后，要记得让其生效source .bash_profile
（4）①虚拟机的两个配置文件rac1.vmk和rac2.vmk没有加入disk.locking=“FALSE”
disk.EnableUUID = "TRUE"两个参数②oracle和grid用户的环境变量ORACLE_SID参数配置错误③前两步配置出现错误导致/etc/udev/rules.d/99-oracle-asmdevices.rules文件的没有uuid且/etc/multipath.conf的uuid错误，因此选择安装过程中共享磁盘没有显示。

–修改密码不过期
alter profile default limit password_life_time unlimited;

–无限制连续登录失败次数是多少，都不会锁定用户账户
alter profile default limit failed_login_attempts unlimited;

–awr采集周期
select * from dba_profiles where RESOURCE_NAME like ‘FAILED_LOGIN_ATTEMPTS’;

修改成30分钟采集一次，保存42天。
exec dbms_workload_repository.modify_snapshot_settings(retention => 42*1440,interval => 30);