AIX5.3 HACMP5.3环境Oracle10gR2 RAC的安装日记

最新推荐文章于 2022-11-02 16:01:00 发布

cuishengxiang7534

最新推荐文章于 2022-11-02 16:01:00 发布

阅读量207

点赞数

文章标签：数据库操作系统网络

it is from http://wxsgyh.blog.sohu.com/105876935.html

AIX版本：5300-06
HACMP版本：5.3 SP6
Oracle版本:10gR2 10.2.0.3

作者：gss99999 mail:gss99999#126.com
一．操作系统检查
1. 检查操作系统补丁包
用lslpp –l命令检查下面文件包是否存在：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.adt.syscalls
bos.net.tcp.client
bos.net.tcp.server
bos.rte.SRC
bos.rte.libc
bos.rte.libcfg
bos.rte.libcur
bos.rte.libpthreads
bos.rte.odm
bos.data rsct.base.hacmp
rsct.compat.*
bos.cifs_fs.*
bos.rte.lvm
bos.clvm.enh
xlC.rte 8.0.0.1
其中xlC的版本要大于等于8.0.0.1，版本低会报PRKP1001，CRS-0215错误。
2．检查HACMP补丁包
查HACMP的版本： HA5.3 SP6，通过查看APAR IZ07791确定。
查看cluster软件：lslpp -l | grep cluster
   lppchk -c cluster*
3．安装oracle、hacmp支持包 smitty install_latest
将xlC.rte 8.0.0.5的安装包IY89967 FTP到两台主机的/tmp目录，安装步骤如下：
   解压缩Z文件：uncompress xlc.rte.aix50.aug2006a.ptf.tar.Z
   解压缩tar文件：tar –xvf xlc.rte.aix50.aug2006a.ptf.tar
   执行安装：smitty install_latest
安装完成用lslpp –l xlC.rte查看xlC的版本为：8.0.0.5
4．检查两台主机的IP地址
en2为public地址，en3为私有地址。
主机 en2 en3 en2_VIP
racnode1 10.150.181.1 192.168.1.1 10.150.181.3
racnode2 10.150.181.2 192.168.1.2 10.150.181.4

5．配置/etc/hosts文件，内容如下：
10.150.181.1 racnode1
10.150.181.2 racnode2
192.168.1.1 racnode1_pri
192.168.1.2 racnode2_pri
10.150.181.3 racnode1_vip
10.150.181.4 racnode2_vip
6．OS检查
查OS版本：oslevel -r ， 5300-06
查看swap空间： lsps –a，8G
查看内存：lsattr –El sys0 –a realmem， 8G
查需要的磁盘： lspv
hdisk5 datavg
查看tmp空间：df -g /tmp，10G
6、在racnode1和racnode2上，创建oinstall、dba组
/bin/mkgroup oinstall ，gid为：203
/bin/mkgroup dba ，gid为：204
保证gid两边一致。
Oracle用户还需要属于hagsuser组，该组在安装CRS时运行rootpre.sh时生产，生成该组以后将Oracle用户加入该组。如果手工创建hagsuser组，在两个节点分别执行下面命令：

chmod a+x /usr/sbin/cluster/utilities/cldomain
chgrp hagsuser /var/ha/soc/grpsvcsdsocket.ORAcluster
chgrp hagsuser /usr/sbin/cluster/utilities/cldomain

7、在racnode1和racnode2上，创建oracle用户：
命令为smitty user ，指定Oracle用户的uid：500
两个节点的uid保持一致。
修改用户使用系统资源的限制
修改/etc/security/limits，添加内容如下：
oracle:
fsize = -1
core = －1
cpu = -1
data = -1
rss = -1
stack = -1
nofiles = -1

8、配置系统配置参数

配置每用户的最大进程数、调整water mark

smitty chgsys
Maximum number of PROCESSES allowed per user       [4096] 2048
HIGH water mark for pending write I/Os per file    [33] 0
LOW water mark for pending write I/Os per file     [24] 0
Stack Execution Disable (SED) Mode                   off   sele

配置网络可调参数，以root用户执行下面命令：
no -r -o ipqmaxlen=512
no -o sb_max=2703360
no -r -o sb_max=2703360
no -r -o tcp_sendspace=65536
no -r -o tcp_recvspace=65536
no -r -o udp_sendspace=135168
no -r -o udp_recvspace=1351680
no -r -o rfc1323=1
vmo -p -o v_pinshm=1
重启生效，（AIX5.3以上用上面方法修改参数，修改文件/etc/rc.net的方法无效）。

调整syncd频率
修改文件/sbin/rc.boot
#nohup /usr/sbin/syncd 60 > /dev/null 2>&1 &
nohup /usr/sbin/syncd 10 > /dev/null 2>&1 &

9、测试串口设备
racnode1: cat /etc/hosts>/dev/tty0
racnode2: cat返回hosts文件的内容。
10、 vi /etc/hosts.equiv
racnode1 root #信任计算机racnode1上的用户root。
racnode2 root
racnode1_pri root
racnode2_pri root
racnode1_vip root
racnode2_vip root
racnode1 oracle
racnode2 oracle
racnode1_pri oracle
racnode2_pri oracle
racnode1_vip oracle
racnode2_vip oracle

11.修改root用户的.rhosts文件
在racnode1 上编辑 /.rhosts
racnode1 root
racnode2 root
racnode1_pri root
racnode2_pri root
racnode1_vip root
racnode2_vip root
racnode1 oracle
racnode2 oracle
racnode1_pri oracle
racnode2_pri oracle
racnode1_vip oracle
racnode2_vip oracle

cp /.rhosts /usr/es/sbin/cluster/etc/rhosts
rcp /.rhosts racnode2: /usr/es/sbin/cluster/etc/rhosts
修改oracle用户的.rhosts文件，内容如下：
racnode1 root
racnode2 root
racnode1_pri root
racnode2_pri root
racnode1_vip root
racnode2_vip root
racnode1 oracle
racnode2 oracle
racnode1_pri oracle
racnode2_pri oracle
racnode1_vip oracle
racnode2_vip oracle

cp ./.rhosts /usr/es/sbin/cluster/etc/rhosts
rcp ./rhosts racnode1: /usr/es/sbin/cluster/etc/rhosts

12.以root oracle用户分别执行rcp/rsh
rsh racnode1 date
rsh racnode2 date
rsh racnode1_pri date
rsh racnode2_pri date
rsh racnode1_vip date
rsh racnode2_vip date

13.检查Oracle安装使用的datavg

创建lv：
mklv -y ora_vote01 -t raw -T O datavg 1 hdisk5
mklv -y ora_crs01 -t raw -T O datavg 1 hdisk5
mklv -y ora_spfile -t raw -T O datavg 1 hdisk5
mklv -y ora_pwd -t raw -T O datavg 1 hdisk5
mklv -y db_control01 -t raw -T O datavg 1 hdisk5
mklv -y db_control02 -t raw -T O datavg 1 hdisk5
mklv -y db_control03 -t raw -T O datavg 1 hdisk5
mklv -y db_user01 -t raw -T O datavg 1 hdisk5
mklv -y db_sysaux01 -t raw -T O datavg 16 hdisk5
mklv -y db_system01 -t raw -T O datavg 16 hdisk5
mklv -y db_example -t raw -T O datavg 1 hdisk5
mklv -y db_temp01 -t raw -T O datavg 16 hdisk5
mklv -y db_undo1_01 -t raw -T O datavg 16 hdisk5
mklv -y db_undo2_01 -t raw -T O datavg 16 hdisk5
mklv -y db_redo1_01 -t raw -T O datavg 1 hdisk5
mklv -y db_redo1_02 -t raw -T O datavg 1 hdisk5
mklv -y db_redo1_03 -t raw -T O datavg 1 hdisk5
mklv -y db_redo1_04 -t raw -T O datavg 1 hdisk5
mklv -y db_redo1_05 -t raw -T O datavg 1 hdisk5
mklv -y db_redo2_01 -t raw -T O datavg 1 hdisk5
mklv -y db_redo2_02 -t raw -T O datavg 1 hdisk5
mklv -y db_redo2_03 -t raw -T O datavg 1 hdisk5
mklv -y db_redo2_04 -t raw -T O datavg 1 hdisk5
mklv -y db_redo2_05 -t raw -T O datavg 1 hdisk5

(两个节点都要做)
chown root.oinstall ora_crs01
chown oracle.oinstall ora_vote01
chown oracle.dba ora_spfile
chown oracle.dba ora_pwd
chown oracle.dba db_*

chmod 660 ora*
chmod 660 db_*
二．HACMP配置
14.配置hacmp集群
HACMP配置如下：
cluster name:    racapp
Network Name:   racnode1 racnode2
   Resource Group Name:   racrg
   Concurrent Volume Groups   datavg
配置Cluster name
#smitty hacmp
----&gt Extended Configuration
       ----&gt Extended Topology Configuration
            ----&gt Configure an HACMP Cluster
               ----&gt Add/Change/Show an HACMP Cluster   racapp

配置双机节点
#smitty hacmp
Extended Configuration
        ----&gt Extended Topology Configuration
             ----&gt Configure HACMP Nodes
                 ----&gt Add a Node to the HACMP Cluster

在Node Name中输入主机名racnode1，在Communication Path to Node中通过F4显示的IP列表中选择主机名scp1。
然后同样加入另一个节点scp2。

配置Cluster网络
a、增加网络名
#smitty hacmp
        ---- > Extended Configuration
                ---- > Extended Topology Configuration
                        ---- > Configure HACMP Networks
                                ---- > Add a Network to the HACMP

在弹出的对话框中选中 # Pre-defined IP-based Network Types中的ether后,

在Network name栏中会默认生成一个网络名。

b、给刚才增加的网络名分配网卡。
#smitty hacmp
        ---- > Extended Configuration
                ---- > Extended Topology Configuration
                        ----&gtConfigure HACMP Communication Interfaces/Devices
                                ---- > Add Communication Interfaces/Devices
Add discovered communication interface and devices

选择communication interfaces

选择创建的网络名net_ether_01，按回车键。

选择主、备机的boot、standby网络配置信息。

c、增加串口，心跳资源。
#smitty hacmp
        ---- > Extended Configuration
                ---- > Extended Topology Configuration
                        ----&gtConfigure HACMP Communication Interfaces/Devices
                                ---- > Add Communication Interfaces/Devices
Add discovered communication interface and devices

选择communication devices

选择主、备机使用的串口

双机资源配置
#smitty hacmp
        ---- > Extended Configuration
                ---- > Extended Resource Configuration
                ---- >HACMP Extended Resource Configuration

配置应用服务
   #smitty hacmp
        ---- > Extended Configuration
                ---- > Extended Resource Configuration
                        ----&gt HACMP Extended Resources Configuration
                                ---- > Configure HACMP Applications
                                     ----&gt Configure HACMP Application Servers
                                          ----&gtAdd an Application Server
修改资源组属性
Change/Show Resources and Attributes for a Resource Group

输入应用服务名，启动、关闭脚本的路径。

双机配置资源同步
#smitty hacmp
---- > Extended Configuration
----&gtExtended Verification and Synchronization

在automatically correct errors found during栏中选择interactively，表示发现错误后，系统自动纠错。

检查HA是否正常
# lsvg –o
三．CRS安装
15．修改Oracle用户的.profile文件
export ORACLE_BASE=/oracle
#export ORA_CRS_HOME=/oracle/crs
export ORACLE_HOME=/oracle/crs
export TEMP=/tmp
export TMP=/tmp
export TMPDIR=/tmp
PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:$HOME/bin:/usr/bin/X11:/sbin:.
PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/bin
16．安装CRS
16．1．执行rootpre.sh脚本
该脚本检查操作系统环境是否符合安装要求，并创建hagsuser组，手工使Oracle用户属于该组。
16．2．CRS安装
在安装 Oracle RAC 10g 数据库软件之前，必须先安装 CRS。 CRS 需要在集群的所有主机中共享两个文件： Oracle Cluster Registry (100MB)

和 CRS Voting Disk (20MB)。这些文件可能存储在原始设备上。
挂载包含 CRS 介质的 CD 或文件系统，并执行 runInstaller。
1. Welcome；单击 Next
2. Specify Inventory Directory and Credentials — 默认值应该就是正确的；
3. 确保 inventory 目录位于 ORACLE_BASE 目录中（例如： /u01/app/oracle/oraInventory）并且操作系统组是“oinstall”，在安装节点

(racnode1) 上运行 orainstRoot.sh。
4. Specify File Locations — 确认默认值后继续
5. Language Selection — 确认默认值后继续
6. Cluster Configuration — 输入集群名（或接受默认的“crs”）
7. Private Interconnect enforcement — 为每个接口指定接口类型（公共、专用或“不使用”）
en2 public
en3 privice
8. Oracle Cluster Registry — 在 clusterSpecify OCR Location 中输入文件名：/dev/rora_crs01（注：不是/dev/ora_crs01）。
9. Voting Disk — 输入 voting disk 名：/dev/rora_vote01（注：不是/dev/ora_vote01）。
10. Summary — 在出现提示时单击 Install，从安装节点开始，每次在一个节点上运行orainstRoot.sh和Oracle CRS 主目录的
/oracle/crs/root.sh。
不要同时运行这些脚本。等一个脚本结束后再启动另一个。
11. 检查CRS状态： $olsnodes -n
         $oifcfg getif
    $crs_stat –t
四．Oracle数据库安装
17．Oracle数据库的安装
17．1 创建raw设备配置文件/home/oracle/raw.txt，内容如下：
   spfile=/dev/rora_spfile
pwdfile=/dev/rora_pwd
control1=/dev/rdb_control01
control2=/dev/rdb_control02
control3=/dev/rdb_control03
users=/dev/rdb_user01
sysaux=/dev/rdb_sysaux01
system=/dev/rdb_system01
example=/dev/rdb_example
temp=/dev/rdb_temp01

17．2设置 ORACLE_BASE 和 ORACLE_HOME 环境变量：
export ORACLE_BASE=/oracle
export ORACLE_HOME=/oracle/db
export TEMP=/tmp
export TMP=/tmp
export TMPDIR=/tmp
export DBCA_RAW_CONFIG=/home/oracle/raw.txt
PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:$HOME/bin:/usr/bin/X11:/sbin:.
PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/bin

17．3 DATABASE安装环境验证
runcluvft.sh stage -pre datavg -n racnode1,racnode2 -osdba dba -verbose
17．4安装Oracle文件
(1)执行runInstaller命令，在Welcome页面中点击下一步。
(2)在Select Installation Type页面中，选择Custom，下一步。
(3)在Specify Home Details页面中，进行如下设置：
Name：OUTHOME_DB
Path：/oracle/db
(4)在Specify Hardware cluster installation mode页面中，选择Cluster Installation，并且选中列表中的所有节点，然后下一步。
(5)在Available Product Components页面中，将enterprise Edition Option目录下除Oracle Partitioning之外的都去除(按需求)。
(6)下一个页面为Product-specific Prerequisite Checks，检查系统安装要求是否满足,如果没有问题，则继续下一步。
(7)在Create Database页面中，选择Install Database Software Only，下一步。
(8)Summary页面，确认是否有误，无误则下一步。
(9)Install页面，等待安装完成。
(10)安装到一定时候，提示执行脚本，则按照提示信息实行相关脚本程序。
五．Oracle补丁安装
18．打Oracle补丁
18．1在需升级的节点上关闭所有的RAC应用。
$ srvctl stop nodeapps -n node
以root用户登录，关闭CLUSTERWARE。
# CRS_HOME/bin/crsctl stop crs
18．2首先打CRS补丁
（1）以root用户执行/usr/sbin/slibclear脚本。
（2）以Oracle用户执行runInstaller脚本
（3）在Specify Home Details页面中，进行如下设置：
Name：OUTHOME_CRS
Path：/oracle/crs
这将升级CRS。
（4）选择“Next”，执行安装。
（5）安装到一定时候，提示执行脚本，则按照提示信息实行相关脚本程序。
（6）补丁打完后，执行以下脚本将自动启动CLUSTERWARE：
# CRS_HOME/install/root102.sh
18．3 安装DB补丁
10.2.0.3版本的补丁中，由于rawutl工具的问题，会导致创建数据库时无法识别裸设备，因此需恢复10.2.0.1中的rawutl工具，该程序在

$ORACLE_HOME/bin目录中。
cp $ORACLE_HOME/bin/rawutl /home/oracle/rawutl
（1）以root用户执行/usr/sbin/slibclear脚本。
（2）以Oracle用户执行runInstaller脚本
（3）在Specify Home Details页面中，进行如下设置：
Name：OUTHOME_DB
Path：/oracle/db
这将升级DB。
（4）选择“Next”，执行安装。
（5）安装到一定时候，提示执行脚本，则按照提示信息实行相关脚本程序。
至此，Oracle补丁安装完成。
六．VIP配置
19．生成VIP
因为en2被设为public，而该网卡的地址为私有地址，所以不会出现虚拟 IP 配置助手界面，需要手工启动VIPCA。
（1）以root用户执行./oracle/crs/bin/vipca
（2）Welcome — 单击 Next
（3）Network Interfaces — 只选择用于公共网络的接口（在本示例中为 en2）。集群中所有主机上的这个接口必须相同。
(4) Virtual IPs for cluster nodes — 输入在 DNS 中所配置的每个主机的虚拟 IP 别名（主机名）和虚拟 IP 地址。
(5) Summary — 单击 Finish。 VIP 配置助手创建并启动 VIP、GSD 和 ONS 应用程序资源
(6) Configuration Results — 检查结果并单击 Exit。在其他节点上依次运行 root.sh。
(7) 安装结束。
以Oracle用户执行netca创建监听。
七．创建SCORA实例
20．安装Oracle RAC实例
以 oracle 用户身份登录时，设置环境并运行 dbca。
在两台主机分别修改下列环境变量：
$ export ORACLE_SID = orarac1
$ export ORACLE_SID = orarac2
在dbtest1上执行：
$ dbca
1. Welcome — 选择“Oracle Real Application Clusters database”
2. Operations — 创建数据库
3. Node Selection — 单击 Select All（racnode1,racnode2）
4. Database Templates — 通用
5. Database Identification — 全局数据库名： orarac
6. SID prefix－SID前缀：orarac
7. Management Options — 利用 enterprise Manager 配置数据库；使用数据库控制进行数据库管理
8. Database Credentials — 为所有帐户使用相同的口令；输入口令并再次确认
9. Storage Options — raw设备
10. Database File Locations — 为所有数据库文件使用相同的位置 (/u02/oradata)
11. Recovery Configuration — 单击 Next
12. Database Content — 示例模式
13. Initialization Parameters — 内存、典型
14. Database Storage — 单击 Next
15. Create Options — 选择“Create Database”
16. Summary — 检查总结信息并单击 OK。

21．客户机tnsnames.ora
orarac =
(DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.150.181.3)(PORT = 1521))
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.150.181.3)(PORT = 1521))
)
(LOAD_BALANCE = yes)
(failover=on)
    (CONNECT_DATA =
      (SERVICE_NAME = orarac)
    )
)

orarac1 =
(DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.150.181.3)(PORT = 1521))
    )
    (CONNECT_DATA =
      (SERVICE_NAME = orarac1)
    )
)

orarac2 =
(DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.150.181.3)(PORT = 1521))
    )
    (CONNECT_DATA =
      (SERVICE_NAME = orarac2)
    )
)
八．错误处理及操作系统优化
22．安装过程出现的错误及处理

22.1 用下面命令启动Oracle数据库
$srvctl start database –d scora
报下面错误：
ora-27504 IPC error creating OSD context
ora-27300 OS system dependent operation:sendmsg failed with status:59
ora-27301 OS failure message:Message too long
ora-27302 failure occurred at:sskgxpsnd1
原因是操作系统中网络参数没有设置正确，用下面命令重设网络参数：
no -r -o ipqmaxlen=512
no -o sb_max=2703360
no -r -o sb_max=2703360
no -r -o tcp_sendspace=65536
no -r -o tcp_recvspace=65536
no -r -o udp_sendspace=135168
no -r -o udp_recvspace=1351680
no -r -o rfc1323=1
vmo -p -o v_pinshm=1
重启操作系统，数据库恢复正常。