RAC11.2.0.3.0完整安装笔记与一些故障解决

环境：
在64位RHEL 下安装virtualbox，并创建rac1.ad.com 和rac2.ad.com 主机，所以的都是使用64位版本
Oracle：11.2.0.3 64bit

0:设置时间同步

服务端设置：
[root@ test]# vim /etc/xinetd.d/time-dgram
   disable = no
[root@ test]# vim /etc/xinetd.d/time-stream
   disable = no

/etc/init.d/xinetd    restart

--重启后，查看tcp和udp的37端口都会开放

客户端：
# vim sync_time_ss.sh --编写脚本
 
#!/bin/bash
 while :; do rdate -s 10.13.12.21; sleep 10; done #每10秒钟同步一次时间

# sh sync_time_ss.sh & --执行

[root@rac2 ~]# crontab -e    
* * * * * rdate -s 10.13.12.21    --每1分钟同步一次时间

一：设置图形化界面连接

1: [root@master ]# vim /etc/sysconfig/vncservers   添加如下两行：
 
VNCSERVERS="89:oracle"  
--配置oracle的桌面是89，如果要设置多用户则：VNCSERVERS="89:oracle 90:root"
 
VNCSERVERARGS[2]="-geometry 800x600 -nolisten tcp -nohttpd -localhost"
 
--如果不做以上修改，/etc/init.d/vncserver restart  会报：no displays configured
 
 
 
2:[oracle@master ~]$ vncserver :89
 perl: warning: Setting locale failed.
 perl: warning: Please check that your locale settings:
  LANGUAGE = (unset),
  LC_ALL = (unset),
  LANG = "en"
     are supported and installed on your system.
 perl: warning: Falling back to the standard locale ("C").
 
You will require a password to access your desktops.
 
Password:     --设置vnc的访问密码
 
Verify:
 Passwords don't match - try again
 Password:
 Verify:
 xauth:  creating new authority file /home/oracle/.Xauthority
 
New 'master.wonder.com:89 (oracle)' desktop is master.wonder.com:89
 
Creating default startup script /home/oracle/.vnc/xstartup
 Starting applications specified in /home/oracle/.vnc/xstartup
 Log file is /home/oracle/.vnc/master.wonder.com:89.log
 
 
 
3：配置oracle桌面89
 
[oracle@master ]$ vim /home/oracle/.vnc/xstartup 

#!/bin/sh
 
# Uncomment the following two lines for normal desktop:
  unset SESSION_MANAGER    --去掉前面的#
  exec /etc/X11/xinit/xinitrc     --去掉前面的#
 
[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
 [ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
 xsetroot -solid grey
 vncconfig -iconic &
 xterm -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &
 gnome-session &  --删除twn &，添加此行
 
 

5: [oracle@master ]$ vncpasswd  --设置访问密码，和上面的设置密码相同即可
 
6: [root@master ]# /etc/init.d/vncserver restart  --重启服务才生效
 
7：下载一个vnc客户端，访问 ip:89 或者  ip:90 即可,ip为公网IP也可以
 
 
 
8:如果连接后界面显示灰色，则检查/home/oracle/.vnc/master.wonder.com:89.log日志，如果发现提示gnome-session 命令找不到， 
yum install gnome-session 即可.  连接后，在终端选择 Bitstream Vera Sans Mono字体,Roman样式，相当好看!!!!
 
 
 
    注意：以上执行命令时使用的用户名，涉及权限问题。
 

二: 在官网下载for oracle linux 5.0的VirtualBox-4.2-4.2.12_84980_el5-1.x86_64.rpm ,

rpm -ivh VirtualBox-4.2-4.2.12_84980_el5-1.x86_64.rpm  即可安装成功

# virtualbox   运行图形化界面

三：下载RHEL5.8 ,以及安装，注意更改存放系统的路径，已经clone时的默认存放路径，在 file -- preferences 修改

Redhat_Linux_v5.8.X86_64.iso下载连接地址：
链接:http://pan.baidu.com/share/link?shareid=1330252349&uk=2820576599 密码:yigh

四:配置yum源
# umount /dev/hdc     --因为LINUX自动挂载的名称里面包含空格，所以配置yum源时报错，所以下面重新挂载
# mkdir /mnt/cdrom
# mount /dev/hdc /mnt/cdrom
# vim local_cdrom.repo
[Cluster]
name=Red Hat Enterprise Cluster
baseurl=file:///mnt/cdrom/Cluster
enabled=1
gpgcheck=0
[ClusterStorage]
name=Red Hat Enterprise  ClusterStorage
baseurl=file:///mnt/cdrom/ClusterStorage
enabled=1
gpgcheck=0
[Server]
name=Red Hat Enterprise  Server
baseurl=file:///mnt/cdrom/Server
enabled=1
gpgcheck=0
[VT]
name=Red Hat Enterprise Linux VT
baseurl=file:///mnt/cdrom/VT
enabled=1
gpgcheck=0

五：解决依赖性：

 # yum install libXp*  libaio* gcc-* gcc-c++-* make-* setarch-* unixODBC*  compat-libstdc*  sysstat -y

六：创建用户和组
 # groupadd -g 5000 asmadmin
 # groupadd -g 5001 asmdba
 # groupadd -g 5002 asmoper
 # groupadd -g 6000 oinstall
 # groupadd -g 6001 dba
 # groupadd -g 6002 oper
 # useradd/usermod -u 1000 -g oinstall -G asmadmin,asmdba,asmoper grid 
 # useradd -u 1001 -g oinstall -G dba,asmdba oracle

七：创建目录和给正确的权限

 # mkdir -p /u01/app/grid
 # mkdir -p /u01/app/11.2.0.3/grid
 # chown -R grid:oinstall /u01
 # mkdir /u01/app/oracle/
 # chown -R oracle:oinstall /u01/app/oracle
 # chmod -R 775 /u01

八：设置环境变量
grid环境变量：
grid $ vim .bash_profile
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0.3/grid
export ORACLE_SID=+ASM1                       --node2节点上改为+ASM2
export LANG=en
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export PATH=$ORACLE_HOME/bin:$PATH
执行 $source .bash_profile命令，使设置生效。

oracle环境变量：
oracle $ vim .bash_profile
export ORACLE_BASE=/u01/app/oracle/
export ORACLE_HOME=/u01/app/oracle/product/11.2.0.3/dbhome
export ORACLE_SID=chris1                                     --这里的和dbca创建数据库时填写的全局数据库名和SID应该保持一致 ，node2上改为 chris2
export LANG=en
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export PATH=$ORACLE_HOME/bin:$PATH
执行 $source .bash_profile命令，使设置生效。

8．编辑如下文件，设置相关的值。
1.编辑/etc/security/limits.conf ，在文本的最后添加如下行：
oracle   soft   nproc    2047
oracle   hard   nproc    16384
oracle   soft   nofile   1024
oracle   hard   nofile   65536

grid   soft   nproc    2047
grid   hard   nproc    16384
grid   soft   nofile   1024
grid   hard   nofile   65536

9.编辑/etc/pam.d/login 在文本的最后添加如下行：
session  required  /lib64/security/pam_limits.so

编辑/etc/profile ，在文本的最后添加如下行：
if [ $USER = "oracle" ] || [ $USER = "grid" ]; then
    if [ $SHELL = "/bin/ksh" ]; then
      ulimit -p 16384
      ulimit -n 65536
    else
      ulimit -u 16384 -n 65536
    fi
    umask 022
fi

10.编辑/etc/sysctl.conf
kernel.shmmax = 4294967295
kernel.shmall = 268435456

net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 8192
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_sack = 1
net.ipv4.tcp_timestamps = 0

kernel.core_uses_pid = 1
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default=262144
net.core.rmem_max=4194304
net.core.wmem_default=262144
net.core.wmem_max=1048576
fs.aio-max-nr=1048576

执行
#sysctl –p命令，使设置生效。

12:添加网卡 internal network 模式，启动后配置静态IP为192.168.179.150

vim /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1
BOOTPROTO=static
IPADDR=192.168.179.150
NETMASK=255.255.255.0
NETWORK=120.197.95.0
ONBOOT=yes
HWADDR=00:0c:29:2c:28:35

# /etc/init.d/network restart

11：配置hostname，hosts

10.13.12.150 rac1 rac1.ad.com
10.13.12.151 rac2 rac2.ad.com

192.168.1.150 rac1-priv
192.168.1.151 rac2-priv

10.13.12.155 rac1-vip
10.13.12.156 rac2-vip

10.13.12.152 ad-cluster ad-cluster-scan

十二：
1：clone一个test_rac1 ，一个test_rac2 ，建立一个share_storage目录，专门存储共享磁盘文件，注意在攒机共享磁盘时，要选择fixed size
 在test_rac1中创建共享磁盘，share_disk1，share_disk2 ，share_disk_voting_4 存放crs信息
 share_disk_data3 存放数据
2：设置磁盘共享 ， file --virtual media manager 将以上3个文件modify为shared
3：在test_rac2 中添加磁盘 ，选择choose existing disk ，后选择那4个共享磁盘

十三：配置系统
 1：两节点都改为静态ip，发现同一个磁盘在2个节点下的盘符是不一样的，使用udev绑定磁盘，

[root@rac1 ~]# fdisk -l

Disk /dev/sda: 25.7 GB, 25769803776 bytes
255 heads, 63 sectors/track, 3133 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        3133    25061400   8e  Linux LVM

Disk /dev/sdb: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdc doesn't contain a valid partition table

Disk /dev/sdd: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdd doesn't contain a valid partition table

Disk /dev/sde: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sde doesn't contain a valid partition table

[root@rac2 ~]# fdisk -l

Disk /dev/sda: 25.7 GB, 25769803776 bytes
255 heads, 63 sectors/track, 3133 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        3133    25061400   8e  Linux LVM

Disk /dev/sdb: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdc doesn't contain a valid partition table

Disk /dev/sdd: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdd doesn't contain a valid partition table

Disk /dev/sde: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sde doesn't contain a valid partition table

共享了4个盘每个5G设置好后，使用udev绑定盘符：

# touch /etc/udev/rules.d/touch 99-oracle-asmdevices.rules
# vim /etc/udev/rules.d/touch 99-oracle-asmdevices.rules

for i in b c d e;
do
echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id -g -u -s %p\", RESULT==\"`scsi_id -g -u -s /block/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\""
done

[root@rac1 rules.d]# cat !$
cat 99-oracle-asmdevices.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VB77c6d2b5-16007211_", NAME="asm-b_crs", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VB7d0c7f3b-d289b35f_", NAME="asm-c_crs", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VBd1a2c502-80189553_", NAME="asm-d_crs", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="SATA_VBOX_HARDDISK_VBb9935999-ff6b34be_", NAME="asm-e_data", OWNER="grid", GROUP="asmadmin", MODE="0660"

拷贝一份到另一节点，后  start_udev

[root@rac1 rules.d]# ls /dev/sd* -l
brw-r----- 1 root disk 8,  0 Jun 17  2013 /dev/sda
brw-r----- 1 root disk 8,  1 Jun 17 10:25 /dev/sda1
brw-r----- 1 root disk 8,  2 Jun 17  2013 /dev/sda2
brw-r----- 1 root disk 8, 16 Jun 17  2013 /dev/sdb
brw-r----- 1 root disk 8, 32 Jun 17  2013 /dev/sdc
brw-r----- 1 root disk 8, 48 Jun 17  2013 /dev/sdd
brw-r----- 1 root disk 8, 64 Jun 17  2013 /dev/sde
[root@rac1 rules.d]# ls /dev/asm* -l
brw-rw---- 1 grid root 8, 16 Jun 17 11:06 /dev/asm-b_crs
brw-rw---- 1 grid root 8, 32 Jun 17 11:06 /dev/asm-c_crs
brw-rw---- 1 grid root 8, 64 Jun 17 11:06 /dev/asm-d_crs
brw-rw---- 1 grid root 8, 48 Jun 17 11:06 /dev/asm-e_data

[root@rac2 rules.d]# ls /dev/asm* -l
brw-rw---- 1 grid asmadmin 8, 48 Jun 17 11:16 /dev/asm-b_crs
brw-rw---- 1 grid asmadmin 8, 64 Jun 17 11:16 /dev/asm-c_crs
brw-rw---- 1 grid asmadmin 8, 32 Jun 17 11:16 /dev/asm-d_crs
brw-rw---- 1 grid asmadmin 8, 16 Jun 17 11:16 /dev/asm-e_data
[root@rac2 rules.d]# ls  /dev/sd* -l
brw-r----- 1 root disk 8,  0 Jun 17  2013 /dev/sda
brw-r----- 1 root disk 8,  1 Jun 17 10:33 /dev/sda1
brw-r----- 1 root disk 8,  2 Jun 17  2013 /dev/sda2
brw-r----- 1 root disk 8, 16 Jun 17  2013 /dev/sdb
brw-r----- 1 root disk 8, 32 Jun 17  2013 /dev/sdc
brw-r----- 1 root disk 8, 48 Jun 17  2013 /dev/sdd
brw-r----- 1 root disk 8, 64 Jun 17  2013 /dev/sde

十四：共享LINUX下的文件到虚拟机下比较麻烦，主要是没 vboxsf模块
挂载时报错
[root@rac1 mnt]# mount -t vboxsf /data1/rac_file/grid grid
mount: unknown filesystem type 'vboxsf'

所以改为scp到虚拟机下,拷贝gird与oracle安装文件

scp -r chris@10.13.12.21@/tmp/xxx   ./

十五：安装grid

[root@rac1 grid_inst_file]# chown grid:oinstall ../grid_inst_file -R
[root@rac1 grid_inst_file]# chown oracle:oinstall ../oracle_inst_file -R

一下2节点都要操作
=============================================
--解决包ntp 失败：
停用ntpd时间同步（oracle会使用内部的时间同步机制CTSS）：

# /sbin/service ntpd stop
 
# chkconfig ntpd off
 
# mv /etc/ntp.conf /etc/ntp.conf.original
 
 
还要删除以下文件：

[root@racnode1 ~]# rm /var/run/ntpd.pid

此文件保存了 NTP 后台程序的 pid。

=======================================================

--解决cvuqdisk-1.0.9-1.rpm 依赖性

[