Oracle RAC/Clusterware的结构和组件

一、RAC主要组件, 软硬件两部分

(1) 服务器 >= 2

(2) 操作系统，推荐使用Oracle认证的系统;版本不要太老，也不要太新

(3) CPU/内存 根据业务需要，内存至少1G

(4) 本地磁盘空间，>=30G

(5) 网卡 >=2 ，推荐4个以上千兆网卡

(6) 私有以太网络，推荐千兆交换机以上

(7) HBA卡 ，如果是SAN，推荐2个冗余HBA

(8) 共享存储设备，推荐SAN设备

(9) 存储管理， ASM/Cluster LV/裸分区/CFS，不推荐用OCFS，卷管理软件、多路径软件等

(10) 第三方集群软件: 可选

(11) Oracle Clusterware 软件

(12) Oracle RDBMS 软件

二、Clusterware主要进程

(1)crsd： 负责管理集群的高可用操作。管理的crs资源包括数据库、实例、监听、虚拟IP，ons，gds或者其他，操作包括启动、关闭、监控及故障切换。改进程由root用户管理和启动。crsd如果有故障会导致系统重启。

(2)cssd，管理各节点的关系，用于节点间通信，节点在加入或离开集群时通知集群。该进程由oracle用户运行管理。发生故障时cssd也会自动重启系统。

(3)oprocd – 集群进程管理 —Process monitor for the cluster. 用于保护共享数据IO fencing。

仅在没有使用vendor的集群软件状态下运行

(4)evmd ：事件检测进程，由oracle用户运行管理

三、Clusterware使用的共享设备

(1) Oracle Cluster Registry(OCR)：记录集群的配置信息;

(2) Voting disk : 即投票盘，保存节点的成员信息，当配置多个投票盘的时候个数必须为奇数，每个节点必须同时能够连接半数以上的投票盘才能够存活;

四、安装路径的选择

安装路径的选择

注：

(1)在Oracle RAC中，软件不建议安装在共享文件系统上;包括CRS_HOME和ORACLE_HOME，尤其是CRS软件，推荐安装在本地文件系统中，这样在进行软件升级，以及安装patch和patchset的时候可以使用滚动升级(rolling upgrade)的方式，减少计划当机时间。另外如果软件安装在共享文件系统也会增加单一故障点。

(2)如果使用ASM存储，需要为asm单独安装ORACLE软件，独立的ORACLE_HOME，易于管理和维护，比如当遇到asm的bug需要安装补丁时，就不会影响RDBMS文件和软件。

(3)在Oracle 11gR2中将新增存储选项：acfs (Oracle ASM Cluster File System)

第三方集群

在Oracle9i中，除了Windows和Linux，在安装RAC之前必须先安装vendor clusterware，即第三方集群，包括IBM的HACMP, HP的ServiceGuard for oracle RAC, Sun cluster，Veritas SFRAC等，这一类的集群软件为Oracle RAC提供了下面的功能：

(1)共享的逻辑卷管理或者集群文件系统用于存放数据文件;

(2)提供了统一的集群的成员组管理;

(3)使用更健壮的SCSI-3 PGR机制来防止心跳故障(即裂脑split brain)导致的数据损坏，这种功能一般叫做IO fencing;

(4)提供效率更高的、更低延迟的心跳网络用于cache fusion，可以相对减少TCP/IP的开销，包括：

HP SGeRAC: HMP (Hyper Messaging Protocol),

Sun Cluster: RSM (Remote Shared Memory),

Veritas SFRAC: LLT (low-latency transport),

Compac True Cluster: RDG (reliable data grams);

通常如果要使用第三方集群的心跳协议，需要将$ORACLE_HOME/lib/libskgxpX.so文件替换为第三方集群

软件提供的libskgxpX.so文件(其中X代表Oracle版本号9/10/11),skgxp 是System Kernel Generic Interface Inter-Process Communications的缩写，是oracle开放的一个应用接口，用于传输GCS和GES 的数据。Oracle自带的libskgxp文件定义的传输协议是UDP/IP。

5)提供扩展的容灾方案，例如campus cluster/metro cluster/extended RAC;如下图， 以Veritas的SFRAC为例，它提供两种Oracle Extended RAC方案，方案一是使用Veritas Volume Manager对底层阵列进行镜像，提供同城容灾级别的实时数据保护;方案二使用GCO/VVR对数据库进行数据复制，可以实现距离更远、超过10km广域网的容灾;

阵列

(6)Veritas SFRAC 还提供了以下特性：

补充的Oracle ODM，可以使Oracle同时拥有文件系统的易管理和裸设备的性能;

标准的多路径软件(DMP)，不需要再安装其他软件就可支持绝大多数磁盘阵列,在异构SAN环境中有更好的兼容性;

从Oracle10g起，Oracle提供了自己的集群软件，叫Oracle clusterware简称CRS，这个软件是安装oracle rac的前提，而上述第三方集群则成了安装的可选项。同时提供了另外一个新特性叫做ASM，可以用于RAC下的共享磁盘设备的管理，还实现了数据文件的条带化和镜像，以提高性能和安全性 (S.A.M.E: stripe and mirror everything ) ，不再依赖第三方存储软件来搭建RAC系统。

那么Oracle是如何识别第三方集群的呢?

在安装完第三方集群后，会在特定目录下生成Oracle RAC接口文件，这个文件的作用就是上面的第二点功能：集群成员管理信息(cluster membership 简称CM)。在HPUX下该文件是/opt/nmapi/nmapi2/lib/pa20_64，在AIX/Solaris/Linux下这个文件是 /opt/ORCLcluster/lib/libskgxn2.so 。

当安装CRS的的检查阶段，就会检测是否有该文件，如果有的话，在安装CRS过程中生成一个软连接文件，文件名是ligskgxn2.so，指向上面的libskgxn2.so或pa20_64文件，这个软连接的位置在CRS_HOME/lib/目录;如果没有第三方集群，那么CRS安装过程中生成自己的libskgxn2.so文件。换句话说，在有第三方集群存在的情况下，CRS的集群成员信息是来自于第三方集群，两套集群的成员信息保持一致和同步;没有第三方集群情况时，CRS自己管理成员信息。

通过查询$CRS_HOME/log/hostname/cssd/ocssd.log可以看到css识别到的第三方集群，下面的例子分别是HACMP、SFRAC、SunCluster、ServiceGuide :

 

 
  
  1. [CSSD]2008-05-27 15:09:43.456 [1029] >TRACE: clssnm_skgxninit: initialized skgxn version (2/0/IBM AIX skgxn)  
  2. [CSSD]2008-12-30 21:44:56.172 [1029] >TRACE: clssnm_skgxninit: initialized skgxn version (2/0/Veritas Cluster Server MM  
  3. [CSSD]2007-08-10 02:19:39.572 [3] >TRACE: clssnm_skgxninit: initialized skgxn version (2/2/Oracle Solaris UDLM)  
  4. [CSSD]2006-09-29 18:57:53.323 [5] >TRACE: clssnm_skgxninit: initialized skgxn version (2/0/Hewlett-Packard SKGXN 2.0) 
 
  
 
 
  
在9i/8i中没有css/crs，该信息可以在后台进程lmon的trace文件中得到(在bdump中);
 
  
在安装Oracle 9i RAC/8i OPS的过程中，Oracle识别集群方法类似。
 
  
在多个平台上，如果两个节点没有正确链接libskgxn2文件，可能会导致第二个实例无法mount或出现ORA-600错误。
 
  
Oracle支持的RAC环境
 
  
因为Oracle RAC本身比较复杂，在安装和管理中可能会遇到各种问题，涉及到OS、RDBMS、Cluster软件和网络、主机、存储等硬件，为了避免不必要的问题发生，在安装之前，我们需要确认安装环境是否满足要求，包括软件和硬件两方面，尤其是Vendor clusterware和OS 的版本的兼容性需要注意，可以从metalink中得到最新的Oracle官方认证信息：登陆Metalink.oracle.com 选择 Certify，选择by product，选择real application server，选择对应平台就可以得到。下面列出一些关于硬件和平台支持的常见问题：
 
  
官方不支持的：Vmware， Sun LDOM ，Solaris Local Container/Zones
 
  
官方支持的： IBM LPAR, IBM VIOS(Virtual IO Server), Solaris Global Containers
 
  
RHEL GFS , ISCSI，
 
  
私有网络(心跳线)的支持： 不支持使用交叉线，支持 Infiniband RDS (10gR2之后)
 
  
异构环境：支持不同的硬件、但相同的软件(OS/Oracle)组成的集群，不支持32位与64位系统间的集群
 
  
目前支持的NFS的server包括：
 
  
EMC Celerra
 
  
Fujitsu Filer NR1000 Series
 
  
IBM N Series
 
  
NetApp FAS, F, G Series
 
  
Pillar Data Systems Axiom 500
 
  
Sun StorageTek 5000 Series
 
  
Oracle Clusterware的心跳
 
  
Oracle clusterware 使用两种心跳设备来验证成员的状态，保证集群的完整性;一是对voting disk的心跳，ocssd进程每秒向votedisk写入一条心跳信息;二是节点间的私有以太网的心跳，两种心跳机制都有一个对应的超时时间，分别叫做 misscount和disktimeout：
 
  
misscount 用于定义节点间心跳通信的超时，单位为秒;
 
  
disktimeout ,默认200秒，定义css进程与vote disk连接的超时时间;
 
  
reboottime ，发生裂脑并且一个节点被踢出后，这个节点将在reboottime的时间内重启;默认是3秒;
 
  
其中misscount默认值见下表
misscount
 
  
用下面的命令查看上述参数的实际值：
 
  
 
  
  1. 1. # crsctl get css misscount  
  2. 2. # grep misscount $CRS_HOME/log/hostname/cssd/ocssd.log  
  3. [CSSD]2008-11-27 22:29:42.397 [1] >TRACE: clssnmInitNMInfo: misscount set to 600 
 
  
 
 
  
在下面两种情况发生时，css会踢出节点来保证数据的完整，：
 
  
(1) Private Network IO time > misscount，会发生split brain即裂脑现象，产生多个“子集群”(subcluster) ，这些子集群进行投票来选择哪个存活，踢出节点的原则按照下面的原则：
 
  
节点数目不一致的，节点数多的subcluster存活;节点数相同的，node ID小的节点存活。
 
  
(2) Vote Disk IO Time > disktimeout ，踢出节点原则如下：失去半数以上vote disk连接的节点将在reboottime的时间内重启;例如有5个vote disk，当由于网络或者存储原因某个节点与其中>=3个vote disk连接超时时，该节点就会重启。当一个或者两个vote disk损坏时则不会影响集群的运行。
 
  
可以手工修改这三个参数的值，单位都是秒：(谨慎使用)
 
  
 
 
  
 
  
  1. $CRS_HOME/bin/crsctl set css misscount   
  2. $CRS_HOME/bin/crsctl set css reboottime [-force]  
  3. $CRS_HOME/bin/crsctl set css disktimeout [-force]  
  4. 或者重新设置成默认值：crsctl unset css misscount 
 
  
 
 
  
Clusterware的私有网络
 
  
在Oracle 10g/11g中，Oracle的私有网络(private network)包括clusterware的私有网络和数据库实例的私有网络：
 
  
clusterware的私有网络主要包括css数据的传送，即用一种特殊的ping命令来检测其他机器的状态;
 
  
数据库实例的私有网络，包括RDMS和ASM的，用于cache fusion(GCS/GES)数据的传输。
 
  
当我们只使用一个私有网卡的时，同时传送上面两类的数据。如果我们在安装时指定了两个私有网卡，首先使用如下面$CRS_HOME/bin/oifcfg getif命令来得到所有网络接口列表，这些信息保存在ocr中：
 
  
 
 
  
 
  
  1. # oifcfg getif  
  2. en0 10.200.56.0 global public 
  3. en3 192.168.3.0 global cluster_interconnect  
  4. en5 192.168.5.0 global cluster_interconnect 
 
  
 
 
  
情况会有所不同，clusterware的私有网络，目前(10g/11g)只能使用一个网络接口，对应于/etc/hosts中定义的private hostname的那个网卡，可以通过查看ocssd的log来确定:
 
  
当/etc/hosts 中定义private hostname为192.168.3.233时看到 ：
 
  
 
 
  
 
  
  1. [ CSSD]2009-01-16 17:34:12.406 [1029] >TRACE: clssgmPeerListener: Listening on (ADDRESS=(PROTOCOL=tcp)(DEV=12) (HOST=192.168.3.233)(PORT=45527)) 
 
  
这个是与其他节点css进行通信的信息：
 
  
 
 
  
 
  
  1. [ CSSD]2009-01-16 17:36:27.463 [1029] >TRACE: clssgmConnectToNode: 
  2. node 2 clsc (ADDRESS=(PROTOCOL=tcp)(DEV=12) (HOST=192.168.3.234)(PORT=37732)) - size 64 ver 1 
 
  
当/etc/hosts 中定义private hostname为192.168.5.233时,css使用了另外一个网络：
 
  
 
 
  
 
  
  1. [ CSSD]2009-01-16 18:59:56.411 [1029] >TRACE: clssgmPeerListener:   
  2. Listening on (ADDRESS=(PROTOCOL=tcp)(DEV=12) (HOST=192.168.5.233)(PORT=50415))