系统规划
IP规划
用途 | IP段 |
---|
存储网络 | 192.168.110.0/192.168.100.0 |
公共网络 | 192.168.10.0 |
私有网络 | 192.0.2.0 |
节点1 | |
---|
公网IP(Public IP) | 192.168.10.50 |
虚拟IP(VIP) | 192.168.10.51 |
私网IP(Private IP) | 192.0.2.50/192.0.2.51 |
存储IP | 192.168.110.50 |
节点2 | |
---|
公网IP(Public IP) | 192.168.10.60 |
虚拟IP(VIP) | 192.168.10.61 |
私网IP(Private IP) | 192.0.2.60/192.0.2.61 |
存储IP | 192.168.110.60 |
SCAN-IP:192.168.10.70
hosts规划
--------------------------
192.168.10.50 xdrac1
192.168.10.60 xdrac2
192.168.10.51 xdrac1-vip
192.168.10.61 xdrac2-vip
192.0.2.50 xdrac1-priv
192.0.2.60 xdrac2-priv
192.168.10.70 xdrac-scan
存储规划
存储设备初始化配置后,对外提供5组逻辑卷
(具体操作参考上一篇文章:openfiler 2.99 安装指南)
逻辑卷 | 大小 |
---|
OCR1 | 2G |
OCR2 | 2G |
OCR3 | 2G |
DATA | 20G |
FRA | 10G |
GIMR | 40G |
操作系统初始化
安装 RAC 的两个节点操作系统都需要按照以下步骤进行初始化操作
关闭防火墙及selinux
关闭防火墙
关闭selinux
重启后查看状态
配置主机名及hosts文件
查看主机名
配置主机名(两个节点分别配置成 xdrac1 和 xdrac2 )
配置 hosts 表
---------------------------
192.168.10.50 xdrac1
192.168.10.60 xdrac2
192.168.10.51 xdrac1-vip
192.168.10.61 xdrac2-vip
192.0.2.50 xdrac1-priv
192.0.2.60 xdrac2-priv
192.168.10.70 xdrac-scan
创建用户和用户组
创建用户组
groupadd -g 10000 oinstall
groupadd -g 10001 dba
groupadd -g 10002 oper
groupadd -g 10003 asmadmin
groupadd -g 10004 asmdba
groupadd -g 10005 asmoper
groupadd -g 10006 backupdba
groupadd -g 10007 dgdba
groupadd -g 10008 kmdba
groupadd -g 10009 racdba
创建用户
useradd -u 10000 -g oinstall -G dba,oper,backupdba,dgdba,kmdba,asmdba,racdba oracle
useradd -u 10001 -g oinstall -G dba,asmadmin,asmdba,asmoper,racdba grid
修改用户密码
passwd oracle
passwd grid
查看创建的用户信息
id oracle
id grid
禁用Transparent Huge Pages(THP)
Centos 7上默认THP是打开的,查看一下
cat /sys/kernel/mm/transparent_hugepage/enabled
cat /sys/kernel/mm/transparent_hugepage/defrag
编辑rc.local文件:
增加下列内容:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
保存退出,然后赋予rc.local文件执行权限:
chmod +x /etc/rc.d/rc.local
最后重启系统,以后再检查THP应该就是被禁用了
cat /sys/kernel/mm/transparent_hugepage/enabled
cat /sys/kernel/mm/transparent_hugepage/defrag
配置内核参数
加入以下内容
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
kernel.shmall = 4294967296
kernel.shmmax = 68719476736
使修改生效
加入以下内容
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 10240
oracle soft memlock unlimited
oracle hard memlock unlimited
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 10240
grid soft memlock unlimited
grid hard memlock unlimited
加入以下内容
session required pam_limits.so
加入以下内容
if [ $USER = "oracle" ]||[ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
卸载 NTP
创建目录并修改权限
mkdir -p /u01/app/12.2.0/grid
mkdir -p /u01/app/grid
mkdir -p /u01/app/oracle/product/12.2.0/dbhome_1
chown -R grid:oinstall /u01
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01/
安装依赖包
首先配置本地yum源,软后使用yum命令安装所有依赖包
binutils \
compat-libcap1 \
compat-libstdc++-33 \
glibc \
glibc-devel \
ksh \
libaio \
libaio-devel \
libgcc \
libstdc++ \
libstdc++-devel \
libxcb \
libX11 \
libXau \
libXi \
libXtst \
make \
net-tools \
nfs-utils \
smartmontools \
sysstat \
unixODBC \
unixODBC-devel \
gcc-c++
最后检查依赖包是否都安装成功
binutils \
compat-libcap1 \
compat-libstdc++-33 \
glibc \
glibc-devel \
ksh \
libaio \
libaio-devel \
libgcc \
libstdc++ \
libstdc++-devel \
libxcb \
libX11 \
libXau \
libXi \
libXtst \
make \
net-tools \
nfs-utils \
smartmontools \
sysstat \
unixODBC \
unixODBC-devel \
gcc-c++
compat-libstdc++-33通过本地yum源安装不了,需要单独上传rpm包后手动安装
cvuqdisk包在grid安装目录下,需要将安装包解压到grid的$ORACLE_HOME下后执行以下命令安装
检查是否安装 iscsi-initiator-utils 、 device-mapper-multipath 这两个包
如果没有安装,请配置 yum 源后,使用 yum 安装相关包
修改环境变量
配置 grid 用户的环境变量
注意:两个节点的 ORACLE_SID 变量分别为 +ASM1 和 +ASM2
$ vi .bash_profile
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/12.2.0/grid
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/lib32
export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"
export NLS_LANG=American_america.ZHS16GBK
export PATH=$ORACLE_HOME/bin:$PATH
使环境变量生效
$ source .bash_profile
配置 oracle 用户的环境变量
注意:两个节点的 ORACLE_SID 变量分别为 xdjadb1 和 xdjadb2;
字符集、实例名可以根据实际环境的需要进行设置
$ vi .bash_profile
export ORACLE_SID=xdjadb1
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/12.2.0/dbhome_1
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/lib32
export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"
export NLS_LANG=American_america.ZHS16GBK
export PATH=$PATH:$ORACLE_HOME/bin
使环境变量生效
$ source .bash_profile
存储配置
配置存储器 IP
登录存储器
两个网段分别登录
设置开机自动登录存储器
加载多路径模块
创建及修改DM-Multipath的配置文件
配置内容根据实际需要进行配置
defaults {
user_friendly_names yes
find_multipaths yes
}
blacklist {
devnode "^sda"
}
multipaths {
multipath {
wwid 14f504e46494c455263645173364a2d765933662d4a707842
alias xdcs000
path_grouping_policy multibus
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
multipath {
wwid 14f504e46494c4552473577624b612d4770554e2d4c7a486a
alias xdcs001
path_grouping_policy multibus
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
multipath {
wwid 14f504e46494c45524c587a3368512d46544b7a2d7347324e
alias xdcs002
path_grouping_policy multibus
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
multipath {
wwid 14f504e46494c45524f6554576b422d55386b792d4a6e3148
alias xdcs003
path_grouping_policy multibus
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
multipath {
wwid 14f504e46494c455236714d6771412d544f79652d64704663
alias xdcs004
path_grouping_policy multibus
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
multipath {
wwid 14f504e46494c455236714d6771412d544f79652d64704663
alias xdcs005
path_grouping_policy multibus
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
}
devices {
device {
vendor "VMWARE"
product "VIRTUAL-DISK"
path_grouping_policy multibus
path_checker readsector0
path_selector "round-robin 0"
hardware_handler "0"
failback 15
rr_weight priorities
no_path_retry queue
}
}
其中的 wwid 通过以下命令获取
重启multipathd服务,并设置开机自启动
使用 udev 修改权限
ENV{DM_NAME}=="xd*", OWNER:="grid", GROUP:="asmadmin", MODE:="660"
重启后检查是否生效
设置 udev 开机自启动