RHEL AS4u2下安装oracle 9i rac

测试环境VMware server 1.0, 建立2个虚拟机, 类型为Redhat Enterprise Linux 4, 每个虚拟机器分配700m内存, 一块12G硬盘, 2块网卡. 虚拟机操作系统安装完成后增加2块4G硬盘作为共享存储设备.

在本文中, 如未说明, 该操作必须在2台机器上都完成.


0 操作系统安装

Oracle9i需要禁止使用SELinux和防火墙, 这些设置可以在操作系统安装过程中完成.

安装操作系统时选择安装Legacy Network Server(并从detail中选择rsh-server), Development Tool, X Software Development, Gnome Software Development, Legancy Software Development可以安装Oracle rac需要的主要软件包.

安装libaio-devel-0.3.103-3.i386.rpm(在第三张光盘):

[root@rhel1 ~]# mount /media/cdrom/ mount: block device /dev/hdc is write-protected, mounting read-only [root@rhel1 ~]# cd /media/cdrom/ [root@rhel1 cdrom]# cd RedHat/RPMS/ [root@rhel1 RPMS]# rpm -ivh libaio-devel-0.3.103-3.i386.rpm warning: libaio-devel-0.3.103-3.i386.rpm: V3 DSA signature: NOKEY, key ID db42a60e Preparing...                ########################################### [100%]    1:libaio-devel           ########################################### [100%]

安装gnome-libs-devel-1.4.1.2.90-44.1.i386.rpm(在第四张光盘)

[root@rhel1 RPMS]# rpm -ivh gnome-libs-devel-1.4.1.2.90-44.1.i386.rpm ORBit-devel-0.5.17-14.i386.rpm gtk+-devel-1.2.10-33.i386.rpm imlib-devel-1.9.13-23.i386.rpm glib-devel-1.2.10-15.i386.rpm warning: gnome-libs-devel-1.4.1.2.90-44.1.i386.rpm: V3 DSA signature: NOKEY, key ID db42a60e Preparing...                ########################################### [100%]    1:glib-devel             ########################################### [ 20%]    2:gtk+-devel             ########################################### [ 40%]    3:imlib-devel            ########################################### [ 60%]    4:ORBit-devel            ########################################### [ 80%]    5:gnome-libs-devel       ########################################### [100%]

安装compat-oracle-rhel4-1.0-5.i386.rpm和compat-libcwait-2.0-2.i386.rpm(在oracle补丁4198954中)

[root@rhel1 ~]# unzip p4198954_21_LINUX.zip Archive:  p4198954_21_LINUX.zip    creating: 4198954/   inflating: 4198954/compat-oracle-rhel4-1.0-5.i386.rpm   inflating: 4198954/compat-libcwait-2.0-2.i386.rpm   inflating: 4198954/README.txt [root@rhel1 ~]# cd 4198954/ [root@rhel1 4198954]# rpm -ivh compat-libcwait-2.0-2.i386.rpm Preparing...                ########################################### [100%] cat: /etc/ld.so.preload: No such file or directory    1:compat-libcwait        ########################################### [100%] [root@rhel1 4198954]# cat /etc/ld.so.preload /usr/lib/libcwait.so [root@rhel1 4198954]# rpm -ivh compat-oracle-rhel4-1.0-5.i386.rpm Preparing...                ########################################### [100%]    1:compat-oracle-rhel4    ########################################### [100%]

1 建立oracle用户及需要的用户组

[root@rhel1 ~]# groupadd oinstall [root@rhel1 ~]# groupadd dba [root@rhel1 ~]# useradd oracle -g oinstall -G dba,oinstall [root@rhel1 ~]# passwd oracle Changing password for user oracle. New UNIX password: BAD PASSWORD: it is based on a dictionary word Retype new UNIX password: passwd: all authentication tokens updated successfully. [root@rhel1 ~]# id oracle uid=500(oracle) gid=501(oinstall) groups=501(oinstall),502(dba) [root@rhel1 ~]# id nobody uid=99(nobody) gid=99(nobody) groups=99(nobody)

在2台机器上运行id oracle的结果必须相同, 否则需要用usermod或者直接修改/etc/passwd和/etc/group的方式使两之相同.

nobody是oracle apache服务器运行时使用的帐号, 必须在服务器上存在.

2 设置共享存储.

在第一台服务器上对共享磁盘进行分区. 分区后, fdisk -l结果如下:

[root@rhel1 ~]# fdisk -l Disk /dev/sda: 12.8 GB, 12884901888 bytes 255 heads, 63 sectors/track, 1566 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes    Device Boot      Start         End      Blocks   Id  System /dev/sda1   *           1          13      104391   83  Linux /dev/sda2              14        1566    12474472+  8e  Linux LVM Disk /dev/sdb: 4294 MB, 4294967296 bytes 255 heads, 63 sectors/track, 522 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes    Device Boot      Start         End      Blocks   Id  System /dev/sdb1               1          62      497983+  83  Linux /dev/sdb2              63         124      498015   83  Linux /dev/sdb3             125         186      498015   83  Linux /dev/sdb4             187         522     2698920    5  Extended /dev/sdb5             187         205      152586   83  Linux /dev/sdb6             206         224      152586   83  Linux /dev/sdb7             225         243      152586   83  Linux /dev/sdb8             244         268      200781   83  Linux /dev/sdb9             269         281      104391   83  Linux /dev/sdb10            282         294      104391   83  Linux /dev/sdb11            295         307      104391   83  Linux /dev/sdb12            308         320      104391   83  Linux /dev/sdb13            321         333      104391   83  Linux /dev/sdb14            334         346      104391   83  Linux /dev/sdb15            347         359      104391   83  Linux Disk /dev/sdc: 4294 MB, 4294967296 bytes 255 heads, 63 sectors/track, 522 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes    Device Boot      Start         End      Blocks   Id  System /dev/sdc1               1          19      152586   83  Linux /dev/sdc2              20          38      152617+  83  Linux /dev/sdc3              39          57      152617+  83  Linux /dev/sdc4              58         522     3735112+   5  Extended /dev/sdc5              58          76      152586   83  Linux /dev/sdc6              77          95      152586   83  Linux /dev/sdc7              96         114      152586   83  Linux /dev/sdc8             115         176      497983+  83  Linux /dev/sdc9             177         238      497983+  83  Linux /dev/sdc10            239         251      104391   83  Linux /dev/sdc11            252         264      104391   83  Linux

这些分区并不都是必须的, 在Metalink Notes:246205.1给出的必须建立的裸设备及其大小如下:

Raw Volume	File Size	Sample File Name
SYSTEM tablespace	400 Mb	db_name_raw_system_400m
USERS tablespace	120 Mb	db_name_raw_users_120m
TEMP tablespace	100 Mb	db_name_raw_temp_100m
UNDOTBS tablespace per instance	312 Mb	db_name_raw_undotbsx_312m
CWMLITE tablespace	100 Mb	db_name_raw_cwmlite_100m
EXAMPLE	160 Mb	db_name_raw_example_160m
OEMREPO	20 Mb	db_name_raw_oemrepo_20m
INDX tablespace	70 Mb	db_name_raw_indx_70m
TOOLS tablespace	12 Mb	db_name_raw_tools_12m
DRYSYS tablespace	90 Mb	db_name_raw_drsys_90m
First control file	110 Mb	db_name_raw_controlfile1_110m
Second control file	110 Mb	db_name_raw_controlfile2_110m
Two ONLINE redo log files per instance	120 Mb x 2	db_name_thread_lognumber_120m
spfile.ora	5 Mb	db_name_raw_spfile_5m
srvmconfig	100 Mb	db_name_raw_srvmconf_100m
quorum	20 Mb	quorum_raw_20m

建立磁盘分区和裸设备的对映列表, 编辑文件/etc/sysconfig/rawdevices, 增加如下内容:

/dev/raw/raw11 /dev/sdb1 /dev/raw/raw12 /dev/sdb2 /dev/raw/raw13 /dev/sdb3 /dev/raw/raw15 /dev/sdb5 /dev/raw/raw16 /dev/sdb6 /dev/raw/raw17 /dev/sdb7 /dev/raw/raw18 /dev/sdb8 /dev/raw/raw19 /dev/sdb9 /dev/raw/raw20 /dev/sdb10 /dev/raw/raw21 /dev/sdb11 /dev/raw/raw22 /dev/sdb12 /dev/raw/raw23 /dev/sdb13 /dev/raw/raw24 /dev/sdb14 /dev/raw/raw25 /dev/sdb15 /dev/raw/raw31 /dev/sdc1 /dev/raw/raw32 /dev/sdc2 /dev/raw/raw33 /dev/sdc3 /dev/raw/raw35 /dev/sdc5 /dev/raw/raw36 /dev/sdc6 /dev/raw/raw37 /dev/sdc7 /dev/raw/raw38 /dev/sdc8 /dev/raw/raw39 /dev/sdc9 /dev/raw/raw40 /dev/sdc10 /dev/raw/raw41 /dev/sdc11

linux kernel 2.6 最多支持4096个裸设备. 所以我们可以选择其中的部分裸设备来使用, 上面的对映可以从裸设备的名称方便的知道它对映的磁盘分区. 此外, Extended partition(/dev/sdb4, /dev/sdc4) 不能被oracle使用, 也就不应该出现在爱/etc/sysconfig/rawdevices文件中.

设置裸设备的权限, rhel4使用udev来管理设备, 手动修改/dev/raw/raw??并不能持久有效. 要想使权限修改持久有效, 需要修改文件/etc/udev/permissions.d/50-udev.permissions, 编辑113行

raw/*:root:disk:0660

为

raw/*:oracle:oinstall:0660

重新启动系统, 可以使用ls -al /dev/raw/*来确认修改.

设置裸设备和数据文件的对映关系, 以oracle用户登录, 建立文件/home/oracle/raw_config,  内容如下

system=/dev/raw/raw11 spfile=/dev/raw/raw20 users=/dev/raw/raw17 temp=/dev/raw/raw21 undotbs1=/dev/raw/raw12 undotbs2=/dev/raw/raw13 example=/dev/raw/raw18 cwmlite=/dev/raw/raw41 xdb=/dev/raw/raw22 odm=/dev/raw/raw23 indx=/dev/raw/raw24 tools=/dev/raw/raw25 drsys=/dev/raw/raw40 control1=/dev/raw/raw15 control2=/dev/raw/raw16 redo1_1=/dev/raw/raw31 redo1_2=/dev/raw/raw32 redo2_1=/dev/raw/raw33 redo2_2=/dev/raw/raw35 srvmconfig=/dev/raw/raw36 quorum=/dev/raw/raw19

3 设置网络, 修改/etc/hosts文件, 修改后hosts文件内容如下:

# Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1               localhost.localdomain localhost 192.168.1.141           rhel1 192.168.1.142           rhel2 10.10.10.141            rhel1-priv 10.10.10.142            rhel2-priv

注意127.0.0.1后不应该有本机的主机名称. 在任一主机上ping两台主机的4个主机名都应该可以ping通, 如果无法ping通, 请检测网络设置.

启动rsh和rlogin服务

[root@rhel2 ~]# chkconfig rsh on [root@rhel2 ~]# chkconfig rlogin on [root@rhel2 ~]# service xinetd restart Stopping xinetd:                                           [  OK  ] Starting xinetd:                                           [  OK  ]

建立文件/etc/hosts.equiv, 内容如下:

rhel1 rhel2 rhel1-priv rhel2-priv

设置/etc/hostss.equiv属主为root, 模式为600, 即只允许root用户读写该文件.

切换到oracle用户, 在每台服务器上分别测试rcp可以从2台主机的4个主机名复制文件.

4 检查oracle硬件需求.
Oracle需要的最小硬件需求为
内存: 512M
swap分区, 1G和内存大小x2中的大者
/tmp所在分区, 300M
oracle安装目录所在分区3.5G
检查过程如下

[root@rhel2 ~]# cat /proc/meminfo |grep "Total" MemTotal:       706628 kB HighTotal:           0 kB LowTotal:       706628 kB SwapTotal:     1441784 kB VmallocTotal:   303096 kB HugePages_Total:     0 [root@rhel2 ~]# df -m Filesystem           1M-blocks      Used Available Use% Mounted on /dev/mapper/VolGroup00-LogVol00                          10552      2446      7571  25% / /dev/sda1                   99         9        85  10% /boot none                       346         0       346   0% /dev/shm

可查得内存大小为700M, swap大小为1.4g, root分区剩余空间为7.5g, /tmp和oracle安装分区都放在root分区上.

5 检查oracle软件需求.

安装oracle前需要安装如下软件包

compat-db-4.1.25-9 compat-gcc-32-3.2.3-47.3 compat-gcc-32-c++-3.2.3-47.3 compat-oracle-rhel4-1.0-3 compat-libcwait-2.0-1 compat-libgcc-296-2.96-132.7.2 compat-libstdc++-296-2.96-132.7.2 compat-libstdc++-33-3.2.3-47.3 gcc-3.4.3-9.EL4 gcc-c++-3.4.3-9.EL4 gnome-libs-1.4.1.2.90-44 gnome-libs-devel-1.4.1.2.90-44 libaio-devel-0.3.102-1 libaio-0.3.102-1 make-3.80-5 openmotif21-2.1.30-11 xorg-x11-deprecated-libs-devel-6.8.1-23.EL xorg-x11-deprecated-libs-6.8.1-23.EL rsh-server-0.17-5

6 设置内核变量, 将如下内容添加到/etc/sysctl.conf

kernel.shmall = 2097152 kernel.shmmax = 2147483648 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 fs.file-max = 65536 net.ipv4.ip_local_port_range = 1024 65000 net.core.rmem_default = 262144 net.core.rmem_max = 262144 net.core.wmem_default = 262144 net.core.wmem_max = 262144

然后运行sysctl -p或重新启动机器使设置生效.

7 配置hangcheck-timer, 将下面命令添加到/etc/rc.d/rc.local, 并运行这一命令活着重启机器, 加载hangcheck-timer模块

modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

8 建立oracle安装目录

[root@rhel1 ~]# mkdir -p /u01/app/oracle [root@rhel1 ~]# chown -R oracle:oinstall /u01/app/oracle [root@rhel1 ~]# chmod 755 -R /u01/app/oracle

9 设置oracle用户环境变量, 以oracle用户登录, 编辑.bash_profile文件, 增加如下内容

export ORACLE_BASE=/u01/app/oracle export ORACLE_HOME=$ORACLE_BASE/product/9.2.0 export PATH=$ORACLE_HOME/bin:$PATH export DBCA_RAW_CONFIG=~/raw_config export LD_ASSUME_KERNEL=2.4.19 export ORACLE_SID=orcl1

在rhel2上最后一行为

export ORACLE_SID=orcl2

10 安装oracm
在rhel1上以oracle身份登录, 运行Disk1下的runInstaller开始安装oracle
安装时选择Oracle Cluster Manager 9.2.0.4,同时可在Product Language中增加Simplified chinese
输入public node information时在public node1和public node2 中分别输入rhel1和rhel2
输入private node information时在private node1和private node2中分别输入rhel1-priv和rhel2-priv
quorum disk information输入/dev/raw/raw19
安装完成后退出

11 配置运行oracm

修改文件/u01/app/oracle/product/9.2.0/oracm/admin/cmcfg.ora, 添加

KernelModuleName=hangcheck-timer

修改MissCount=20为MissCount=210

以root身份登录, 运行/u01/app/oracle/product/9.2.0/oracm/bin/ocmstart.sh

[root@rhel1 bin]# export ORACLE_HOME=/u01/app/oracle/product/9.2.0 [root@rhel1 bin]# ./ocmstart.sh oracm </dev/null 2>&1 >/u01/app/oracle/product/9.2.0/oracm/log/cm.out & [root@rhel1 bin]# ps -ef |grep cm root      7201     1  0 23:09 pts/1    00:00:00 oracm root      7211  3358  0 23:09 pts/1    00:00:00 grep cm [root@rhel1 bin]#

12 安装oracle rac

在rhel1上以oracle身份登录, 运行Disk1下的runInstaller开始安装oracle

选择节点时使用ctrl键选择rhel1和rhel2, 如果没有出现节点选择的画面, 请检查oracm
是否启动.

安装时选择Oracle Database 9.2.0.4.0, 同时可在Product Language中增加Simplified chinese.

安装类型选择Enterprise Edition

选择不创建数据库.

shared configuration field中输入/dev/raw/raw36

安装过程中需要以root身份运行/u01/app/oracle/product/9.2.0/root.sh, 运行这个脚本前, 请建立目录/var/opt/oracle

13 启动gsd

以oracle身份运行gsdctl start启动gsd

[root@rhel2 log]# su - oracle [oracle@rhel2 ~]$ gsdctl start Successfully started GSD on local node [oracle@rhel2 ~]$ gsdctl stat GSD is running on the local node [oracle@rhel2 ~]$

14 建立监听器配置文件及tnsnames.ora文件

在rhel1上运行netca使用默认值建立监听器

建立文件/u01/app/oracle/product/9.2.0/network/admin/tnsnames.ora, 内容如下:

listener_orcl1=  (DESCRIPTION=    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel1)(PORT=1521))) listener_orcl2=  (DESCRIPTION=    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel2)(PORT=1521))) listeners_orcl= (DESCRIPTION=    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel1)(PORT=1521))    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel2)(PORT=1521))) orcl=  (description=    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel1)(PORT=1521))    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel2)(PORT=1521))    (connect_data=      (service_name=orcl)    (failover_mode=      (type=select)(method=basic)(retries=20)(delay=15)))) orcl1=  (description=    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel1)(PORT=1521))    (connect_data=      (sid=orcl1))) orcl2=  (description=    (ADDRESS=(PROTOCOL=tcp)(HOST=rhel2)(PORT=1521))    (connect_data=      (sid=orcl2)))

15 建立数据库

在rhel1上运行dbca建立数据库

节点选择时使用Select All选择全部节点

数据库类型选择new database

全局名称输入orcl

初试化参数中可根据需要选择不同的字符集.

create option中选择建立数据库脚本, 取消选择创建数据库. 如果直接使用dbca建立数据库会提示ocr错误, 可能是oracle 的bug, 没有做进一步分析.

在rhel1上以oracle身份运行/u01/app/oracle/admin/orcl/scripts/orcl1.sh创建数据库, 这个过程需要比较长的时间, 在我的机器上运行了将近2个小时.  在rhel上以oracle身份在/u01/app/oracle/admin/orcl/下建立目录bdump,  cdump,  udump,  使用

/u01/app/oracle/product/9.2.0/bin/orapwd file=/u01/app/oracle/product/9.2.0/dbs/orapworcl2 password=change_on_install

生成密码文件后就可以启动数据库. 

参考资料:
Metalink Notes:246205.1  Configuring Raw Devices for Real Application Clusters on Linux
Metalink Notes:184821.1  Step-By-Step Installation of 9.2.0.5 RAC on Linux
Metalink Notes:189256.1  Script to Verify Installation Requirements for Oracle 8.0.5 to 9.2 versions of RDBMS
Oracle9i Release Notes Release 2 (9.2.0.4.0) for Linux x86
Oracle9i Real Application Clusters Setup and Configuration