RAC实验环境的安装部署

本次使用vm virtualBOX进行安装，配置两节点RAC和采用ASM共享磁盘组进行存储管理

安装版本 linux 5.6

一、linux安装配置

内存	磁盘	网卡
1536M	30G	两个网卡（仅主机模式）

网卡配置

主机名	IP（eth0）	priv（eth1）	端口号	网关
rac1	192.168.80.50	10.0.80.10	24	192.168.80.0
rac2	192.168.80.60	10.0.80.20	24	192.168.80.0

系统关闭不需要的服务

service NetworkManager  stop

service acpid           stop

service anacron         stop

service apmd            stop

service atd             stop

service auditd          stop

service autofs          stop

service avahi-daemon    stop

service avahi-dnsconfd  stop

service bluetooth       stop

service conman          stop

service cpuspeed        stop

service cups            stop

service dnsmasq         stop

service dund            stop

service firstboot       stop

service gpm             stop

service haldaemon       stop

service hidd            stop

service ip6tables       stop

service ipmi            stop

service ipmievd         stop

service iptables        stop

service irda            stop

service irqbalance      stop

service kdump           stop

service kudzu           stop

service mcstrans        stop

service mdmpd           stop

service microcode_ctl   stop

service netconsole      stop

service netfs           stop

service netplugd        stop

service nfs             stop

service nfslock         stop

service nscd            stop

service ntpd            stop

service pand            stop

service pcscd           stop

service portmap         stop

service psacct          stop

service rawdevices      stop

service rdisc           stop

service readahead_early stop

service readahead_later stop

service restorecond     stop

service rhnsd           stop

service rpcgssd         stop

service rpcidmapd       stop

service rpcsvcgssd      stop

service saslauthd       stop

service sendmail        stop

service setroubleshoot  stop

service smartd          stop

service vncserver       stop

service wdaemon         stop

service winbind         stop

service wpa_supplicant  stop

service xfs             stop

service xinetd          stop

service ypbind          stop

service yum-updatesd    stop

修改hosts目录 /etc/hosts

##Public Network - (eth0)

192.168.80.50 rac1

192.168.80.60 rac2

##Private Interconnect - (eth1)

10.0.80.10 rac1-priv

10.0.80.20 rac2-priv

##Public Virtual IP (VIP) addresses - (eth0)

192.168.80.100 rac1-vip

192.168.80.200 rac2-vip

##scan IP

192.168.80.150 rac-scan

修改内核参数 /etc/sysctl.conf

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 2097152

kernel.shmmax = 4294967295

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048586

当前配置参数生效

空格 /sbin/sysctl -p

安全限制配置 /etc/security/limits.conf

oracle              soft    nproc   2047

oracle              hard    nproc   16384

oracle              soft    nofile  1024

oracle              hard    nofile  65536

oracle              soft    stack   10240

 

grid              soft    nproc   2047

grid              hard    nproc   16384

grid              soft    nofile  1024

grid              hard    nofile  65536

grid              soft    stack   10240

配置含义

soft 指的是当前系统生效的设置值。

hard 表明系统中所能设定的最大值。 soft 的限制不能比 har 限制高

nofile - 打开文件的最大数目

nproc - 单个用户可用的最大进程数量

创建用户和组

groupadd -g 1000 oinstall

groupadd -g 1001 dba

groupadd -g 1002 oper

groupadd -g 2000 asmadmin

groupadd -g 2001 asmdba

groupadd -g 2002 asmoper

useradd -u 2001 -d /home/grid -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid

useradd -u 1001 -d /home/oracle -g oinstall -G dba,asmdba,oper oracle

配置密码

passwd grid

passwd oracle

创建存放安装文件目录

mkdir /soft

chown -R oracle:oinstall /soft

chmod -R 775 /soft

创建安装目录,改权限

mkdir -p /u01/app/11.2.0/grid

mkdir -p /u01/app/grid

mkdir -p /u01/app/oracle

mkdir -p /u01/app/oraInventory

chown -R grid:oinstall /u01

chown -R oracle:oinstall /u01/app/oracle

chmod -R 755 /u01

chmod 775 /u01

chmod 775 /u01/app

设置oracle和grid用户的环境变量

oracle用户

[oracle@rac1 ~] vi .bash_profile

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1

export ORACLE_SID=RACDB1    

export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin

grid用户

[grid@rac1 ~]$ vi .bash_profile

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/11.2.0/grid                

export ORACLE_SID=+ASM1

export PATH=$ORACLE_HOME/bin:/usr/sbin:$PATH

切换root用户配置yum源安装yum包

1、插入光盘

2、挂载 mount /dev/cdrom /mnt

3、配置yum源文本 vi /etc/yum.repos.d/public-yum-el5.repo

[oel5] ----yum 源的名字，必须全局唯一不重复

name = Enterprise Linux 5.6 DVD ---- 注释内容，可以随意指定

baseurl=file:///mnt/Server/ ----yum 源的路径，支持三种协议： http 、 ftp 、 file ，其中 file 表示本地文件，这里 file:// 后边跟的 iso 挂载路径

gpgcheck=0 -----1 表示启用， 0 表示禁用

enabled=1 - ---- 指纹校验， 0 表示不校验

yum安装

[root@ocmu ~]# yum install oracle-validated

移除光盘，复制二节点

重置网卡mac地址，完全复制

配置rac2主机名

vi /etc/sysconfig/network

hostname改为rac2

更改hosts主机名 vi /etc/hosts

127.0.0.1 主机名改为rac2 localhost.localdomain localhost

立即生效主机名

hostname rac2

查询主机名更改是否生效

hostname

参照rac1配置rac2网卡

cd /etc/sysconfig/network-scripts/

ls |grep ifcfg-eth

cat ifcfg-eth0

cat ifcfg-eth1

复制HWADDR中的内容

更改eth0.bak和eth1.bak中的内容

DEVICE=eth0 -------------网卡名称

BOOTPROTO=static -------------启动方式（static静态、dhcp动态）

BROADCAST=192.168.80.255 --------------广播地址

HWADDR=08:00:27:16:8e:36 --------------mac网卡地址

IPADDR=192.168.80.60 --------------IP地址

NETMASK=255.255.255.0 --------------子网掩码

NETWORK=192.168.80.0 --------------网关地址

ONBOOT=yes --------------是否系统启动时启动网卡（yes、no）

将两个网卡的IP地址、启动方式（改为static）、mac地址（之前复制的内容）更改后 保存

删除eth0和eth1，并将eth0.bak和eth1.bak改为eth0、eth1

重启网卡 service network restart

修改rac2的环境变量

oracle用户

[oracle@rac1 ~] vi .bash_profile

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1

export ORACLE_SID=RACDB1    

export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin

将 ORACLE_SID=RACDB1 改为 ORACLE_SID=RACDB2

grid用户

[grid@rac1 ~]$ vi .bash_profile

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/11.2.0/grid                

export ORACLE_SID=+ASM1

export PATH=$ORACLE_HOME/bin:/usr/sbin:$PATH

将 export ORACLE_SID=+ASM1 改为 export ORACLE_SID=+ASM2

统统设置完成后，重启一下二节点

互信

两个节点oracle和grid用户分别执行生成密码文件

ssh-keygen -t dsa

查看密码文件

cd .ssh

rac节点一 oracle和grid用户分别传输密码文件与节点二互信

在.ssh目录执行

cat *.pub > authorized_keys

ssh 192.168.80.60 cat ~/.ssh/*.pub >> authorized_keys

scp authorized_keys 192.168.80.60:~/.ssh/.

注意：IP地址配置为rac2节点地址

测试公网和私网通信，每个节点oracle和grid用户分别执行

ssh rac1 date

ssh rac2 date

ssh rac1-priv date

ssh rac2-priv date

使用root用户安装cvuqdisk包

在节点一soft/grid/rpm文件夹内有cvuqdisk包。安装命令：rpm -ivh cvuqdisk-1.0.9-1.rpm，将cvuqdisk包传输到节点二进行安装 scp cvuqdisk-1.0.9-1.rpm 192.168.80.60:/soft/

两个节点关闭主机

配置ASM共享存储

1、节点一添加新磁盘，30G固定大小。

2、在虚拟介质管理内将磁盘设置为共享模式。

3、节点二添加刚刚配置的可共享磁盘

磁盘分区

两个节点分别查看磁盘是否已经挂载

fdisk -l

节点一配置分区：共四个主分区，前三个1024M，剩余空间都放最后一个分区

配置磁盘分区：fdisk /dev/sdb

n为分配分区、p为主分区、w为保存、q为不保存配置

节点一配置裸设备

[root@rac1 ~]# raw /dev/raw/raw1 /dev/sdb1

/dev/raw/raw1:  bound to major 8, minor 17 -----------记住以下挂载目录号，后面会用到

[root@rac1 ~]# raw /dev/raw/raw2 /dev/sdb2

/dev/raw/raw2:  bound to major 8, minor 18

[root@rac1 ~]# raw /dev/raw/raw3 /dev/sdb3

/dev/raw/raw3:  bound to major 8, minor 19

[root@rac1 ~]# raw /dev/raw/raw4 /dev/sdb4

/dev/raw/raw4:  bound to major 8, minor 20

查看配置情况 ll /dev/raw

两个节点分别配置系统启动自动挂载磁盘文本

 vi /etc/udev/rules.d/60-raw.rules

ACTION=="add", KERNEL=="/dev/sdb1",RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add",ENV{MAJOR}=="8",ENV{MINOR}=="17",RUN+="/bin/raw /dev/raw/raw1 %M %m"

ACTION=="add", KERNEL=="/dev/sdb2",RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add",ENV{MAJOR}=="8",ENV{MINOR}=="18",RUN+="/bin/raw /dev/raw/raw2 %M %m"

ACTION=="add", KERNEL=="/dev/sdb3",RUN+="/bin/raw /dev/raw/raw3 %N"

ACTION=="add",ENV{MAJOR}=="8",ENV{MINOR}=="19",RUN+="/bin/raw /dev/raw/raw3 %M %m"

ACTION=="add", KERNEL=="/dev/sdb4",RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add",ENV{MAJOR}=="8",ENV{MINOR}=="20",RUN+="/bin/raw /dev/raw/raw4 %M %m"

KERNEL=="raw[1-4]", OWNER="grid", GROUP="asmadmin", MODE="660"

按照前面记录的挂载目录号，适当调整文档

重启两节点系统，或重启AWR

[root@rac2 ~]# start_udev

Starting udev: [  OK  ]

查看节点二挂载情况

[root@rac2 ~]# ll /dev/raw/

total 0

crw-rw---- 1 grid asmadmin 162, 1 Apr 26 23:02 raw1 -----------有以下挂载内容，代表挂载成功

crw-rw---- 1 grid asmadmin 162, 2 Apr 26 23:02 raw2

crw-rw---- 1 grid asmadmin 162, 3 Apr 26 23:02 raw3

crw-rw---- 1 grid asmadmin 162, 4 Apr 26 23:02 raw4

上传安装介质到节点一

配置权限、解压压缩包

压缩包1、2 oracle:oinstall 755权限

压缩包3 grid:oinstall 755权限

解压命令： unzip

修改属主、属组命令：chown

修改权限命令： chmod

grid自检效验

在/soft/grid目录下执行

./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose

安装grid软件

效验无问题，开始安装grid集群软件

注意：使用工具安装登录时必须为grid用户

./runInstaller

安装步骤

1、取消接受邮件

2、选择第一个

集群安装和配置Oracle网格基础结构

独立服务器配置Oracle网格基础结构

升级Oracle网格基础设施或Oracle自动存储管理（ASM）

只安装Oracle网格基础架构软件

3、选择第二个

一般安装

高级安装

4、配置语言

5、配置SCAN IP

6、添加rac2私网IP

7、公网、私网配置

参数：public（公网）private（私网）do not use（不使用）

eth0 为公网

eth1 为私网

8、存储结构配置

选择 ASM管理

oracle automatic storage management ----------------自动存储管理（ASM）

shared file system ----------------共享文件系统

9、配置ASM磁盘组和成员，如看不到ASM磁盘，重启节点一

10、配置ASM磁盘组 管理员密码，首字母未大写没有结合数字，会提示INS-30011错误（密码过于简单）

如果配置的不是裸设备，添加ASM磁盘时安照以下方法模糊匹配磁盘

11、故障隔离支持选项

选择第二个

user intelligent platform management interface --------用户的IPMI接口（智能管理平台）

no intelligent platform management interface --------不使用IPMI接口

12、配置ASM磁盘的组

oracle asm administrator group ------------oracle管理员组 交给asmadmin组

oracle asm dba group ------------Oracle DBA组 交给asmdba组

oracle asm operator group ------------oracle操作组 交给asmoper组

13、grid基础目录，报错检查每个节点目录是否存在、权限是否足够

14、grid库存目录

需要检查/u01/app/oraInventory目录，报错检查每个节点是否存在目录、权限是否足够

15、配置最终检查，有问题报错误

device checks for asm -----------ASM设备检查（由于虚拟配置、此问题可以跳过）

task resolv.conf integrity -----------检查每个节点/etc/resolv.conf（由于没有配置DNS解析，此问题可以跳过）

Network Time Protocol(NTP) -----------网络时间协议 NTP（代表RAC时间未同步，无法实现心跳线。但如不需要可跳过）

其他问题需要查找资料解决，都出以后或跳过问题，选择lgnore All（忽略所有）报错INS-13016 确认跳过问题

1 6、是否存储配置记录

17、开始执行安装 install

18、按照提示在提示节点和用户，分别执行提示脚本文件

注意查看执行结果，执行脚本时报其他错误，需要回退。解决后再次执行脚本

回退清除命令 /u01/app/11.2.0/grid/crs/install/rootcrs.pl -verbose -deconfig -force

报错[INS-20802] Oracle Cluster Verification Utility failed. -------- Oracle集群验证实用程序失败,此问题可以忽略 点击Next

执行后报错 [INS-32091] Software installation was successful. But some configuration assistants failed, were cancelled or skipped. ----------提示软件安装成功。但是一些配置助理失败了，被取消或跳过。

至此grid安装成功

注：手工卸载grid方法，两节点分别执行

root用户

cd /u01/app/11.2.0/grid/crs/install

./rootcrs.pl -deconfig -force

./rootcrs.pl -verbose -deconfig -force

./crsconfig_params

 

grid用户

cd /u01/app/11.2.0/grid/deinstall

./deinstall

root用户

rm -rf /var/tmp/.oracle

rm -rf /usr/local/bin/coraenv

rm -rf /usr/local/bin/dbhome

rm -rf /usr/local/bin/oracle

rm -rf /u01/app/oraImbentory

最后格式化ASM磁盘头 例：如下

dd if=/dev/zero count=10 bs=512 of=/dev/sde1

安装数据库管理软件（RDBMS）

注意：使用工具安装登录时必须为oracle用户

cd /soft/database（安装目录）

执行 ./runInstaller

安装步骤

1、取消接受邮件

2、更新选项

一、通过网络下载更新

二、通过本地源更新

三、不进行更新（本次选择此项）

3、安装选项

create and configure a database ------------创建和配置数据库

install database software only ------------只安装数据库软件（本次选择此项）

update an existing database ------------更新现有数据库

4、单实例或RAC安装

single instance database installation --------------------------单实例数据库安装

oracle real application clusters database installation -------------------------多节点（RAC）数据库安装

oracle RAC one node database installation -------------------------单节点（RAC）数据库安装

select nodes (in addition to the local node) in the cluster where the installer should install oracle rac or oracle rac one

在RAC中选择节点（除了本地节点），安装程序应该安装Oracle RAC（集群）或Oracle RAC（单节点）

SSH可以配置oracle用户的密码和增删节点

本次选择第二项多节点RAC

5、配置语言

enterprise edition ------------企业版（本次选择此项）

standard edition ------------标准版

6、oracle基础目录，报错检查每个节点目录是否存在、权限是否足够

7、配置数据库组

第一项数据库管理员的组 DBA

第二项数据库操作员的组 （ 本次填写DBA ）

8、配置最终检查，有问题报错误（此问题与安装grid出现问题等同）

swap size -----------交换分区过小（此问题可以略过）

device checks for asm -----------ASM设备检查（由于虚拟配置、此问题可以跳过）

task resolv.conf integrity -----------检查每个节点/etc/resolv.conf（由于没有配置DNS解析，此问题可以跳过）

Network Time Protocol(NTP) -------网络时间协议 NTP（代表RAC时间未同步，无法实现心跳线。但如不需要可跳过）

其他问题需要查找资料解决，都出以后或跳过问题，选择lgnore All（忽略所有）报错INS-13016 确认跳过问题

9、安装配置报告

10、点击install开始安装，按照提示在提示节点和用户，执行提示脚本文件

注意查看执行结果

创建ASM磁盘组

注意：使用工具安装登录时必须为grid用户

利用asmcan命令启动图形化工具

1、创建或挂载磁盘组

create -------------创建（本次选择此项）

mount all -------------挂载所有

dismount all -------------卸载所有

2、磁盘组配置

high ---------------高级冗余

normal ---------------标准冗余

EXTERNAL (nome) ---------------外部冗余 本次选择此项，配置后选择OK

结束配置

创建数据库

切换oracle用户使用dbca启动图形化界面安装

1、选择安装模式

oracle real application clusters(rac) database ---------------多节点（RAC）数据库 本次选择此项

oracle rac one node database ---------------单节点（RAC）数据库

oracle single instance database ---------------单实例数据库

2、选择执行操作

create a database ----------------创建一个数据库 本次选择此项

configure database options ----------------配置数据库

delete database ----------------删除数据库

manage templates ----------------模板管理

instance management ---------------实力管理

3、安装类型

templates that include datafiles contain pre=created databases .they allow you to create a new database in miuntes,as opposed to an hour or more use templates without datafiles only when necessary,such as when you need to change attributes like block size,which cannot be altered after database creation

模板文件包含包括预创建的数据库。他们允许你创建在分钟新的数据库，而不是一个小时或者更多的时间使用模板文件，而只在必要的时候，比如当你需要改变属性的块大小，不能在创建数据库后改变

ceneral purpose or transaction processing ---------------一般用途或事务处理

custom database ---------------自定义数据库

data warehouse ---------------数据仓库

4、配置RAC数据库名，配置后点击select all（选择所有）

5、取消EM（企业管理器），保留automatic mainenance tasks（自动维护任务）

6、配置sys和system用户密码，规则要求：首字母必须大写，字母结合数字。不按照要求会提示

7、存储管理

specify storage type and locations for database files -------------------指定数据库文件存储类型和位置

use common location for all database files -------------------使用公共数据库文件存储位置

use oracle-managed files --------------------使用oracle自动管理，此项需要配置数据库的域（本次选择）

8、快速恢复区

specify fast reconvery area --------------指定快速恢复区，本次不开启

enable archiving --------------归档，本次不开启

9、样例用户和执行脚本

选择启用样例用户，不使用执行脚本

10、配置管理

memory --------------配置自动管理（SGA和PGA）或SGA、PGA手动管理

sizing --------------调整块大小，最大并发连接数

character sets --------------使用的字符集

connection mode --------------服务器模式（专用或共享）

11、数据库存储配置

maximum datafiles ------------------最大数据文件数

maximum instances ------------------最大实例数

maximum log history ------------------最大归档日志数量，超过这个数值将被复用

maximum redo log files -------------------最大redo日志数

maximum log members -------------------最大log日志成员

数据库已经配置的数据文件

包含的redo 日志组和组内的成员

12、select the database creation options 选择数据库创建选项

create database -----------------创建数据库 （本次选择此项）

generate database creation scripts -----------------生成数据库创建脚本

13、点击finish 开始执行，生成安装报告可以转存

14、开始安装，安装结束生成DBname数据库名、SID系统标识符、server参数名

至此全部安装完成