Oracle19c rac搭建流程
- iscsi共享存储构建
- 安装共享存储服务器操作系统
共享存储服务器使用CentOS7.9操作系统，操作系统下载地址：
操作系统安装完后：
设置防火墙ip白名单
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.92 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.93 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.94 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.95 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.96 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.97 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.98 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=10.23.126.99 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=1.1.1.1 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=1.1.1.2 accept'
firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=1.1.1.3 accept'
firewall-cmd --reload
修改/etc/selinux/config配置：
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
setenforce 0
1．2安装iscsi server 端
yum install -y targetcli
启动iscsi服务：
systemctl start target.service
systemctl enable target.service
查看iscsi服务器磁盘挂载情况：
fdisk –l 或者 lsblk
1.3 iscsi 服务端配置
安装配置软件：
yum install -y epel-release
yum --enablerepo=epel -y install scsi-target-utils libxslt
修改tgt配置文件：
在配置文件末尾加上配置信息
vim /etc/tgt/targets.conf
文件末尾添加：
<target iqn.csxinao.com.oracle:rac>
backing-store /dev/vda
backing-store /dev/vdb
backing-store /dev/vdc
backing-store /dev/vdd
backing-store /dev/vde
backing-store /dev/vdf
initiator-address 10.23.126.0/24
write-cache off
</target>
initiator-address 限定 允许访问的客户端地址段或具体IP
启动配置服务：systemctl restart tgtd
systemctl restart target
systemctl enable tgtd
查看服务提供的iscis盘情况：tgtadm --lld iscsi --mode target --op show
- rac节点服务器准备
2.1 rac节点操作系统安装：
本次安装的rac版本为19c 使用的操作系统为oracle linux 7.9
下载地址：
安装过程中swap配置成和内存大小一样
安装过程中需要配置好两个网卡：ip址配置为：
10.23.126.97-10.23.126.99和1.1.1.1-1.1.1.3
三个rac子节点安装完操作系统后配置好host文件：
vim /etc/hosts
#Public IP（公司内部访问，非外网）
10.23.126.97 csxinao1
10.23.126.98 csxinao2
10.23.126.99 csxinao3
#Private IP（用于节点间心跳网络）
1.1.1.1 csxinao1-priv
1.1.1.2 csxinao2-priv
1.1.1.3 csxinao3-priv
#Virtual IP（提供客户端访问，漂移）
10.23.126.93 csxinao1-vip
10.23.126.94 csxinao2-vip
10.23.126.95 csxinao3-vip
#SCAN IP（提供客户端访问，均衡）
10.23.126.96 csxinao-scan
2.2、rac节点配置
安装oracle19c依赖包：
yum install -y kernel-uek
yum install -y oracle-database-preinstall-19c
安装完后检查是否有遗漏：
rpm -q bc binutils compat-libcap1 compat-libstdc++-33 gcc gcc-c++ elfutils-libelf elfutils-libelf-devel glibc glibc-devel ksh libaio libaio-devel libgcc libstdc++ libstdc++-devel libxcb libX11 libXau libXi libXtst libXrender libXrender-devel make net-tools nfs-utils smartmontools sysstat e2fsprogs e2fsprogs-libs fontconfig-devel expect unzip openssh-clients readline kmod kmod-libs policycoreutils-python | grep 未安装
安装遗漏的依赖：
yum install -y compat-libstdc++-33 gcc gcc-c++ elfutils-libelf-devel libXrender-devel fontconfig-devel expect kmod kmod-libs policycoreutils-python
创建用户和用户组：
groupadd -g 54321 oinstall
groupadd -g 54322 dba
groupadd -g 54323 oper
groupadd -g 54324 backupdba
groupadd -g 54325 dgdba
groupadd -g 54326 kmdba
groupadd -g 54327 asmdba
groupadd -g 54328 asmoper
groupadd -g 54329 asmadmin
groupadd -g 54330 racdba
## 创建用户，并指定用户ID，所属的用户组以及所属的附加组
useradd -u 54321 -g oinstall -G asmdba,dba,backupdba,dgdba,kmdba,racdba,oper oracle
useradd -u 54322 -g oinstall -G asmadmin,asmdba,asmoper,dba,racdba,oper grid
## 如果用户已存在，可以用以下语句更新用户组信息（oracle-database-preinstall-19c会自动创建用户oracle）
usermod -g oinstall -G asmdba,dba,backupdba,dgdba,kmdba,racdba,oper oracle
##修改用户密码为oracle
echo "oracle" | passwd oracle --stdin
echo "oracle" | passwd grid --stdin
##查看用户
id grid
id oracle
关闭avahi-daemon.socket
yum install -y avahi*
systemctl stop avahi-daemon.socket
systemctl stop avahi-daemon.service
pgrep -f avahi-daemon | awk '{print "kill -9 "$2}'
systemctl disable avahi-daemon.socket
systemctl disable avahi-daemon.service
2.3 挂载共享存储
安装iscsi软件：
yum install -y iscsi-initiator-utils
重启客户端：
systemctl restart iscsid
配置iscsi:配置iqn名称为上文iscsi服务端确定的名称
vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.csxinao.com.oracle:rac
重启iscsi服务并设置为开机启动：
systemctl restart iscsi
systemctl enable iscsi
rac节点上查看iscsi服务器开放的存储：
iscsiadm -m discovery -tsendtargets -p 10.23.126.92:3260
输出为：10.23.126.92:3260,1 iqn.csxinao.com.oracle:rac
查看共享存储列表：
iscsiadm -m node -T discovery -T iqn.csxinao.com.oracle:rac -p 10.23.126.92:3260
登录共享存储：
iscsiadm -m node -T iqn.csxinao.com.oracle:rac -p 10.23.126.92:3260 -l
2.4、multipath绑定多路
安装multipath软件：
yum install -y device-mapper device-mapper-multipath-devel
mpathconf --enable --with_multipathd y
#查看共享盘 scsi_id
/usr/lib/udev/scsi_id -g -u /dev/sda
/usr/lib/udev/scsi_id -g -u /dev/sdb
/usr/lib/udev/scsi_id -g -u /dev/sdc
/usr/lib/udev/scsi_id -g -u /dev/sdd
/usr/lib/udev/scsi_id -g -u /dev/sde
/usr/lib/udev/scsi_id -g -u /dev/sdf
/usr/lib/udev/scsi_id -g -u /dev/sdg
/usr/lib/udev/scsi_id -g -u /dev/sdh
/usr/lib/udev/scsi_id -g -u /dev/sdi
运行以上命令会显示每个iscsi挂载盘的id
将这些id填入以下文件中：
vim /etc/multipath.conf
defaults {
user_friendly_names yes
}
blacklist {
devnode "^vda"
}
multipaths {
multipath {
wwid ""
alias asm_ocr1
}
multipath {
wwid ""
alias asm_ocr2
}
multipath {
wwid ""
alias asm_ocr3
}
multipath {
wwid ""
alias asm_data1
}
multipath {
wwid ""
alias asm_data2
}
multipath {
wwid ""
alias asm_data3
}
}
激活多路：
multipath –F
multipath -v2
显示结果：
multipath –ll
lsblk
2.5 、配置udev绑盘
rm -rf /dev/mapper/udev_info
rm -rf /etc/udev/rules.d/99-oracle-asmdevices.rules
cd /dev/mapper
for i in asm_*; do
printf "%s %s\n" "$i" "$(udevadm info --query=all --name=/dev/mapper/"$i" | grep -i dm_uuid)" >>/dev/mapper/udev_info
done
while read -r line; do
dm_uuid=$(echo "$line" | awk -F'=' '{print $2}')
disk_name=$(echo "$line" | awk '{print $1}')
echo "KERNEL==\"dm-*\",ENV{DM_UUID}==\"${dm_uuid}\",SYMLINK+=\"${disk_name}\",OWNER=\"grid\",GROUP=\"asmadmin\",MODE=\"0660\"" >>/etc/udev/rules.d/99-oracle-asmdevices.rules
done </dev/mapper/udev_info
执行完后查看udev_info 和 99-oracle-asmdevices.rules，内容如下
asm_data1 E: DM_UUID=mpath-iscsi-id1
asm_data2 E: DM_UUID=mpath- iscsi-id2
asm_data3 E: DM_UUID=mpath- iscsi-id3
asm_ocr1 E: DM_UUID=mpath- iscsi-id4
asm_ocr2 E: DM_UUID=mpath- iscsi-id5
asm_ocr3 E: DM_UUID=mpath- iscsi-id6
KERNEL=="dm-*",ENV{DM_UUID}=="mpath- iscsi-id1",SYMLINK+="asm_data1",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath- iscsi-id2",SYMLINK+="asm_data2",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath- iscsi-id3",SYMLINK+="asm_data3",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath- iscsi-id4",SYMLINK+="asm_ocr1",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath- iscsi-id5",SYMLINK+="asm_ocr2",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath- iscsi-id6",SYMLINK+="asm_ocr3",OWNER="grid",GROUP="asmadmin",MODE="0660"
重载：
udevadm control --reload-rules
udevadm trigger --type=devices
防火墙设置：
firewall-cmd --permanent --add-source=10.2.23.126.92
firewall-cmd --permanent --add-source=10.2.23.126.93
firewall-cmd --permanent --add-source=10.2.23.126.94
firewall-cmd --permanent --add-source=10.2.23.126.95
firewall-cmd --permanent --add-source=10.2.23.126.96
firewall-cmd --permanent --add-source=10.2.23.126.97
firewall-cmd --permanent --add-source=10.2.23.126.98
firewall-cmd --permanent --add-source=10.2.23.126.99
firewall-cmd --permanent --add-source=1.1.1.1
firewall-cmd --permanent --add-source=1.1.1.2
firewall-cmd --permanent --add-source=1.1.1.3
firewall-cmd –reload
防火墙开放端口（备用）：
firewall-cmd --permanent --add-port=8080/tcp
关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
关闭透明大页和NUMA：
systemctl disable avahi-daemon.socket
systemctl disable avahi-daemon.service
系统资源配置：
vim /etc/security/limits.conf
文件最后添加以下内容：
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768
oracle soft nproc 2047
oracle hard nproc 16384
oracle hard memlock 134217728
oracle soft memlock 134217728
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768
grid soft nproc 2047
grid hard nproc 16384
vim /etc/pam.d/login
session required pam_limits.so
session required /lib64/security/pam_limits.so
创建目录
mkdir -p /u01/app/19.3.0/grid
mkdir -p /u01/app/grid
mkdir -p /u01/app/oracle/product/19.3.0/db
mkdir -p /u01/app/oraInventory
mkdir -p /backup
mkdir -p /home/oracle/scripts
chown -R oracle:oinstall /backup
chown -R oracle:oinstall /home/oracle/scripts
chown -R grid:oinstall /u01
chown -R grid:oinstall /u01/app/grid
chown -R grid:oinstall /u01/app/19.3.0/grid
chown -R grid:oinstall /u01/app/oraInventory
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01
rac节点1执行以上操作的，克隆两份
三个rac节点分别设置主机名：
## 节点1 下执行
hostnamectl set-hostname csxinao1
## 节点2 下执行
hostnamectl set-hostname csxinao2
## 节点3 下执行
hostnamectl set-hostname csxinao3
三个rac节点分别设置环境变量：
节点1：
su - grid
cat <<EOF>>/home/grid/.bash_profile
################OracleBegin#########################
umask 022
export TMP=/tmp
export TMPDIR=\$TMP
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/19.3.0/grid
export ORACLE_TERM=xterm
export TNS_ADMIN=\$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=\$ORACLE_HOME/lib:/lib:/usr/lib
export ORACLE_SID=+ASM1
export PATH=/usr/sbin:\$PATH
export PATH=\$ORACLE_HOME/bin:\$ORACLE_HOME/OPatch:\$PATH
alias sas='sqlplus / as sysasm'
################OracleEnd#########################
EOF
su - oracle
cat <<EOF>>/home/oracle/.bash_profile
################OracleBegin#########################
umask 022
export TMP=/tmp
export TMPDIR=\$TMP
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=\$ORACLE_BASE/product/19.3.0/db
export ORACLE_HOSTNAME=csxinao1
export ORACLE_TERM=xterm
export TNS_ADMIN=\$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=\$ORACLE_HOME/lib:/lib:/usr/lib
export ORACLE_SID=csxinao1
export PATH=/usr/sbin:\$PATH
export PATH=\$ORACLE_HOME/bin:\$ORACLE_HOME/OPatch:\$PATH
alias sas='sqlplus / as sysdba'
################OracleEnd#########################
EOF
节点2：
su - grid
cat <<EOF>>/home/grid/.bash_profile
################OracleBegin#########################
umask 022
export TMP=/tmp
export TMPDIR=\$TMP
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/19.3.0/grid
export ORACLE_TERM=xterm
export TNS_ADMIN=\$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=\$ORACLE_HOME/lib:/lib:/usr/lib
export ORACLE_SID=+ASM2
export PATH=/usr/sbin:\$PATH
export PATH=\$ORACLE_HOME/bin:\$ORACLE_HOME/OPatch:\$PATH
alias sas='sqlplus / as sysasm'
################OracleEnd#########################
EOF
su - oracle
cat <<EOF>>/home/oracle/.bash_profile
################OracleBegin#########################
umask 022
export TMP=/tmp
export TMPDIR=\$TMP
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=\$ORACLE_BASE/product/19.3.0/db
export ORACLE_HOSTNAME=csxinao2
export ORACLE_TERM=xterm
export TNS_ADMIN=\$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=\$ORACLE_HOME/lib:/lib:/usr/lib
export ORACLE_SID=csxinao2
export PATH=/usr/sbin:\$PATH
export PATH=\$ORACLE_HOME/bin:\$ORACLE_HOME/OPatch:\$PATH
alias sas='sqlplus / as sysdba'
################OracleEnd#########################
EOF
节点3
su - grid
cat <<EOF>>/home/grid/.bash_profile
################OracleBegin#########################
umask 022
export TMP=/tmp
export TMPDIR=\$TMP
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/19.3.0/grid
export ORACLE_TERM=xterm
export TNS_ADMIN=\$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=\$ORACLE_HOME/lib:/lib:/usr/lib
export ORACLE_SID=+ASM3
export PATH=/usr/sbin:\$PATH
export PATH=\$ORACLE_HOME/bin:\$ORACLE_HOME/OPatch:\$PATH
alias sas='sqlplus / as sysasm'
################OracleEnd#########################
EOF
su - oracle
cat <<EOF>>/home/oracle/.bash_profile
################OracleBegin#########################
umask 022
export TMP=/tmp
export TMPDIR=\$TMP
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=\$ORACLE_BASE/product/19.3.0/db
export ORACLE_HOSTNAME=csxinao3
export ORACLE_TERM=xterm
export TNS_ADMIN=\$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=\$ORACLE_HOME/lib:/lib:/usr/lib
export ORACLE_SID=csxinao3
export PATH=/usr/sbin:\$PATH
export PATH=\$ORACLE_HOME/bin:\$ORACLE_HOME/OPatch:\$PATH
alias sas='sqlplus / as sysdba'
################OracleEnd#########################
EOF
- 上传、解压安装文件
3.1 、文件上传、解压
rac节点1上新建/soft目录
上传以下文件：
LINUX.X64_193000_grid_home.zip
LINUX.X64_193000_db_home.zip
p6880880_190000_Linux-x86-64.zip
p33509923_190000_Linux-x86-64.zip
解压grid和oracle安装包
chown -R grid:oinstall /soft
su - grid -c "unzip -q /soft/LINUX.X64_193000_grid_home.zip -d /u01/app/19.3.0/grid/"
chown -R oracle:oinstall /soft
su - oracle -c "unzip -q /soft/LINUX.X64_193000_db_home.zip -d /u01/app/oracle/product/19.3.0/db/"
解压Opatch和RU补丁：
chown -R grid:oinstall /soft
su - grid -c "unzip -q -o /soft/p6880880_190000_Linux-x86-64.zip -d /u01/app/19.3.0/grid"
su - grid -c "unzip -q /soft/p33509923_190000_Linux-x86-64.zip -d /soft"
chown -R oracle:oinstall /soft
su - oracle -c "unzip -q -o /soft/p6880880_190000_Linux-x86-64.zip -d /u01/app/oracle/product/19.3.0/db"
安装 cvuqdisk，后面先决条件会检查，提前安装：
rpm -ivh /u01/app/19.3.0/grid/cv/rpm/cvuqdisk-1.0.10-1.rpm
scp /u01/app/19.3.0/grid/cv/rpm/cvuqdisk-1.0.10-1.rpm csxinao2:/soft
scp /u01/app/19.3.0/grid/cv/rpm/cvuqdisk-1.0.10-1.rpm csxinao3:/soft
##传输到节点二安装
rpm -ivh /soft/cvuqdisk-1.0.10-1.rpm
##传输到节点三安装
rpm -ivh /soft/cvuqdisk-1.0.10-1.rpm
3.2、安装grid软件
root用户下修改 /soft 所属组，grid安装打补丁需要访问该目录
chown -R grid:oinstall /soft
清除ssh连接信息（三台）：
rm –f /home/grid/.ssh/known_hosts
grid用户在节点1上运行（需要在虚拟机的控制台打开终端运行）：
##应用环境变量，一般登录会自动加载
source ~/.bash_profile
##进入安装目录
cd $ORACLE_HOME
##执行安装程序开始安装，通过-applyRU参数指向补丁解压位置，提前安装grid补丁
./gridSetup.sh –applyRU /soft/33509923
等待3分钟，
出现图形界面后一频频向下执行安装完成。
安装完成后
检查集群状态：
crsctl stat res –t
检查grid补丁
opatch lspatches
sqlplus -version
创建 ASM 数据盘 DATA：
asmca
出现图形界面后一步步向下执行完成创建
检查asm磁盘：
asmcmd lsdg
3.3安装oracle
##修改/soft 所属用户 为 oracle，后面该目录打补丁会用到
chown -R oracle:oinstall /soft
oracle用户在节点1上运行（需要在虚拟机的控制台打开终端运行）：
##通过 -applyRU 选项，可提前安装补丁
cd $ORACLE_HOME
./runInstaller -applyRU /soft/33509923/
出现图形界面后向下一步步安装完成
检查版本：
opatch lspatches
sqlplus -version
3.4、创建数据库实例
节点1上oracle用户运行：
dbca
出现图形界面后一步步向执行完成创建，
注意要选择创建pdb实例。
常用集群操作命令：
##关闭所有节点
srvctl stop database -d csxinao
##打开所有节点
srvctl start database -d csxinao
##查看数据库状态
srvctl status database -d csxinao
##打开单个节点
srvctl start instance -d myrac -i myrac1 -o mount
##关闭单个节点
srvctl stop instance -d myrac -i myrac1
pdb连接：
需要在用oracle用户创建服务后启动：
srvctl add service -d csxinao -s pdb1 -pdb pdb1 -preferred csxinao1,csxinao2,csxinao3
srvctl start service -d csxinao -s spdb1
alter pluggable database all open;
alter pluggable database all save state;
select con_name, instance_name, state from dba_pdb_saved_states;
[oracle@csxinao1 ~]$ srvctl status database -d csxinao
实例 csxinao1 正在节点 csxinao1 上运行
实例 csxinao2 正在节点 csxinao2 上运行
[oracle@csxinao1 ~]$ srvctl stop database -d csxinao
[oracle@csxinao1 ~]$ srvctl status database -d csxinao
实例 csxinao1 没有在 csxinao1 节点上运行
实例 csxinao2 没有在 csxinao2 节点上运行
[oracle@csxinao1 ~]$ srvctl start instance -d csxinao -i csxinao1 -o mount
[oracle@csxinao1 ~]$ srvctl status database -d csxinao
实例 csxinao1 正在节点 csxinao1 上运行
实例 csxinao2 没有在 csxinao2 节点上运行
表空间管理
创建表空间
create tablespace testxinao datafile
'+DATA' size 5000M REUSE
autoextend on next 10M MAXSIZE Unlimited
extent management local autoallocate
permanent
online;
查看表空间情况：
SELECT t.tablespace_name, round(SUM(bytes / (1024 * 1024)), 0) ts_size
FROM dba_tablespaces t, dba_data_files d
WHERE t.tablespace_name = d.tablespace_name
GROUP BY t.tablespace_name;
创建用户：
create user testxinao identified by testxinao default tablespace test_xinao;
grant connect to testxinao;
grant resource to testxinao;
grant select any table to testxinao;
grant create any table to testxinao;
grant dba to testxinao;
删除表空间：
SQL> DROP TABLESPACE HR6_DATA INCLUDING CONTENTS AND DATAFILES;
Tablespace dropped.
表空间添加文件
ALTER TABLESPACE TESTXINAO ADD DATAFILE
'+DATA' SIZE 1024M AUTOEXTEND ON NEXT 8M MAXSIZE Unlimited；
查看用户对应表空间：
SELECT username, default_tablespace FROM dba_users;
查看表空间文件：
select * from dba_data_files; --数据文件信息
select * from dba_temp_files; – 临时数据文件信息
select * from dba_free_space; – 数据库中所有表空间中的空闲扩展区
select * from dba_segments; – 数据库中的所有段分配的存储
参考文献：
2591
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
