============================================================
Oracle® Database 10g Release 2 (10.2.0) RAC for AIX 注意事项
by : 王磊/菜小小~@2011-5-4 17:16
看到263/263 2011-5-4 18:20
============================================================
先吐槽下,Itpub的排版真心让人不能淡定。。Orz.....
系统相关注意事项
- 每个节点必须使用相同的处理器技术,比如都为Power5;
- 每个节点&每个LPAR上的操作系统必须使用相同的方式安装:相同的maintenance level,相同的APAR,相同的 FILESETS level;prtconf; lparstat -i
- 检查所安装的操作系统是否被Oracle支持(通过认证),例如,当前OracleRAC10.2.0.1在AIX5.2、5.3、6.1通过认证;
- 注意PUBLIC NODE NAME必须与aix系统下hostname命令的返回值一致;
- 注意公网网卡务必要设置网关信息(smit chinet)
- 节点间私有网络通过网线直连(Cross-over cable)仅用于测试环境,生产环境不要这么做,而要使用千兆交换机(Gigabit switch );
- RAC各个节点的对应的网卡名要保持一致;例如节点1上的en0 对应节点2上的en0;
- AIX环境下可以使用以太通道技术(EtherChannel)对私有网络提供带宽聚合与故障转移功能;
存储映射相关注意事项
首先提问:
- 1、对于不同的硬件存储设备,maping到AIX后在系统上表现出来的设备名各不相同,应该用什么设备呢?
- 2、存储上划分的同一块lun,maping到不同节点后由于各种原因,表现出来的设备编号不同时,应该怎么判定节点1的hdisk2与节点2的hdisk2是不是一块磁盘呢?
- 3、当存储映射到主机上的lun灰常多,怎么避免使用hdisk1~hdiskn这样的名字把自己弄晕么?
由于各客户环境使用的存储设备不一样,需要配置使用的磁盘路径也不同,并不是都是使用rhdisk哦, 采用不同的硬件存储设备在AIX平台下多路径工具与ASM磁盘所应该使用的路径:
-
- EMC PowerPath Use raw partitions thru the pseudo device /dev/rhdiskpowerx
- IBM SDD (Vpath) /dev/vpathx
- IBM SDDPCM Use /dev/rhdiskx device
- IBM RDAC (Redundant Disk Array Controller) Use /dev/rhdiskx device RDAC is installed by default and must be used with IBM storage DS4000, and former FasTt series.
在使用SAN共享存储时,各RAC节点并发读写的共享磁盘(hdisk, hdiskpower, dlmfdrv, etc …) 的reserve_policy属性的值必须设置为“no_reserve”或者“no_lock”
通过lsattr –E –l hdisk2 | grep reserve 检查该属性,例如:
$ lsattr -E -l hdisk2 | grep reserve
single_path Reserve Policy Truereserve_policy
On IBM storage (ESS, FasTt, DSXXXX) : Change the “reserve_policy” attribute to “no_reserve”
chdev -l hdisk? -a reserve_policy=no_reserve
On EMC storage : Change the “reserve_lock” attribute to “no”
chdev -l hdisk? -a reserve_lock=no
$ lsattr -E -l hdisk2 | grep reserve
no_reserve Reserve Policy Truereserve_policy
IBM MPIO (Multi-Path I/O). 【此为摘录】
MPIO driver is supported with IBM Total Storage ESS, DS6000 and DS8000 series only And with IBM SVC (SAN Volume Controler).
IBM RDAC (Redundant Disk Array Controller) for IBM Total Storage DS4000.
RDAC driver is supported with IBM Total Storage DS4000 series only, and former FasTt.
AIX Packages needed to install on all nodes for IBM MPIO(AIX 5.3)【此为摘录】
devices.sddpcm.53.2.1.0.7.bff
devices.sddpcm.53.rte
devices.fcp.disk.ibm.mpio.rte
devices.fcp.disk.ibm.mpio.rte download page :
MPIO for AIX 5.3 download page :
AIX下查询WWPN的命令
# pcmpath query wwpn
Adapter Name PortWWN
fscsi0 10000000C935A7E7
fscsi1 10000000C93A1BF3
# pcmpath query device
DEV#: 2 DEVICE NAME: hdisk2 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75271812000
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path0 CLOSE NORMAL 0 0
1 fscsi1/path1 CLOSE NORMAL 0 0
DEV#: 3 DEVICE NAME: hdisk3 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75271812001
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path0 CLOSE NORMAL 0 0
1 fscsi1/path1 CLOSE NORMAL 0 0
。。。。。。
弄清楚ocr和Voting对应共享磁盘hdisk与存储所划LUN的对应关系
![bb](http://img.blog.itpub.net/blog/attachments/2012/03/21162451_201203311027072.jpg?x-oss-process=style/bb)
方法一:lscfg -l hdisk? 弄清楚后DO MAKE sure to release PVID after hdisks identifications,例如
– vl hdisk2node1:root-/> lscfg
1 000000000000 3552 (500) Disk Array Devicehdisk2 U1.9-P1-I1/Q1-W200300A0B80C5404-L
– vl hdisk3node1:root-/> lscfg
2 000000000000 3552 (500) Disk Array Devicehdisk3 U1.9-P1-I1/Q1-W200300A0B80C5404-L
方法二:临时给pv分配PVID 弄清楚后再clear掉PVID
node1:root-/> chdev -l hdisk2 -a pv=yes
node1:root-/> chdev -l hdisk3 -a pv=yes
node1:root-/> lspv
hdisk2 0033c670b0f3ee84 None
hdisk3 0033c670b0f3fb87 None
node1:root-/> chdev -l hdisk2 -a pv=clear
node1:root-/> chdev -l hdisk3 -a pv=clear
node1:root-/> lspv
hdisk0 0033c670e214eac5 rootvg active
hdisk2 none None
hdisk3 none None
弄清楚ASM候选盘对应共享磁盘hdisk与存储划LUN的对应关系【方法同上面确定ocr和voting磁盘一样】
方法一:lscfg -l hdisk? 弄清楚后DO MAKE sure to release PVID after hdisks identifications;
方法二:临时给pv分配PVID 弄清楚后再clear掉PVID
![bb](http://img.blog.itpub.net/blog/attachments/2012/03/21162451_201203311027073.jpg?x-oss-process=style/bb)
由于ocr与voting对应一块共享磁盘在不同节点显示的PV名字不同,可在各节点新创建一致的设备名指回去
![bb](http://img.blog.itpub.net/blog/attachments/2012/03/21162451_201203311027074.jpg?x-oss-process=style/bb)
首先:在每个节点获得每个改下磁盘磁盘对应的minor and major number;
node1:root-/> ls -l /dev/*hdisk2
brw------- 1 root system 20, 4 Oct 18 17:52 /dev/hdisk2
crw------- 1 root system 20, 4 Oct 18 17:52 /dev/rhdisk2
node1:root-/> ls -l /dev/*hdisk3
brw------- 1 root system 20, 5 Oct 18 17:52 /dev/hdisk3
crw------- 1 root system 20, 5 Oct 18 17:52 /dev/rhdisk3
node1:root-/> rsh node2
node2:root-/> ls -l /dev/*hdisk3
brw------- 1 root system 12, 9 Oct 18 16:22 /dev/hdisk3
crw------- 1 root system 12, 9 Oct 18 16:22 /dev/rhdisk3
node2:root-/> ls -l /dev/*hdisk4
brw------- 1 root system 12, 8 Oct 18 16:22 /dev/hdisk4
crw------- 1 root system 12, 8 Oct 18 16:22 /dev/rhdisk4
然后在每个节点创建对应相对minor and major number的新设备
node1:root-/> mknod /dev/ocr_disk c 20 4
node1:root-/> mknod /dev/vote_disk c 20 5
node1:root-/> rsh node2
node2:root-/> mknod /dev/ocr_disk c 12,9
node2:root-/> mknod /dev/vote_disk c 12,10
然后修改这些新设备的属组、属主、权限
node1:root-/> chown oracle.dba /dev/ocr_disk
node1:root-/> chown oracle.dba /dev/vote_disk
node1:root-/> chmod 660 /dev/ocr_disk
node1:root-/> chmod 660 /dev/vote_disk
最后校验新设备是否可写(两节点同时运行 测试并发读写)
dd if=/dev/zero of=/dev/ocr_disk bs=8192 count=25000 &
25000+0 records in.
25000+0 records out.
dd if=/dev/zero of=/dev/vote_disk bs=8192 count=25000 &
25000+0 records in.
25000+0 records out.
由于ASM对应的共享磁盘在不同节点显示的PV名字不同,可在各节点新创建一致的设备名指回去【方法同上面新建ocr和voting设备一样】
![bb](http://img.blog.itpub.net/blog/attachments/2012/03/21162451_201203311027075.jpg?x-oss-process=style/bb)
AIX平台如何确定磁盘是否被标记为ASM磁盘,被ASM使用
1、确定磁盘属组、属主、权限 (All hdisks prepared for ASM are owned by oracle user, and group dba )
2、使用lquerypv 查询磁盘信息,被ASM使用的磁盘会有以下信息
{node1:root}/ ->lquerypv -h /dev/rhdisk7|grep ORCLDISK
ORCLDISK ........|00000020 4F52434C 4449534B 00000000 00000000 |
{node1:root}/ ->lquerypv -h /dev/rhdisk7
00000000 00820101 00000000 80000001 D12A3D5B |.............*=[|
00000010 00000000 00000000 00000000 00000000 |................|
ORCLDISK ........|00000020 4F52434C 4449534B 00000000 00000000 |
00000030 00000000 00000000 00000000 00000000 |................|
ASMDB_GR |00000040 0A100000 00010203 41534D44 425F4752 |........
OUP_0001 ........|00000050 4F55505F 30303031 00000000 00000000 |
ASMDB _GR|00000060 00000000 00000000 41534D44 425F4752 |........
00000070 4F555000 00000000 00000000 00000000 |OUP.............|
ASMDB _GR|00000080 00000000 00000000 41534D44 425F4752 |........
00000090 4F55505F 30303031 00000000 00000000 |OUP_0001........|
000000A0 00000000 00000000 00000000 00000000 |................|
000000B0 00000000 00000000 00000000 00000000 |................|
000000C0 00000000 00000000 01F5874B ED6CE000 |...........K.l..|
000000D0 01F588CA 150BA800 02001000 00100000 |................|
000000E0 0001BC80 00001400 00000002 00000001 |................|
000000F0 00000002 00000002 00000000 00000000 |................|
如果需要清除ASM磁盘中的数据信息,可以使用dd清除:
{node1:root}/ ->dd if=/dev/zero of=/dev/rhdisk7 bs=8192 count=25000 &
安装时注意事项
- AIX平台给数据库打patch前 建议以root用户运行 "/usr/sbin/slibclean"来清理内存中的库文件;
- 安装软件之前要确保AIX平台/usr/bin下有unzip工具
- 安装OracleCRS之前需要为各节点的Oracle用户配置等效性(SSH & RSH)
- 安装crs之前进行使用CVU进行校验
- ./runcluvfy.sh stage -pre crsinst -n node1,node2 –verbose
- 安装crs之前对lsattr建立软连接,“/etc/lsattr” is used in vip check action
- ln –s /usr/sbin/lsattr /etc/lsattr
- 如果在AIX 5L 5.3安装,需要修改Disk1/installer目录下的oraparam.ini, cluster.ini 两个文件,将AIX5200修改为AIX5300;或者直接执行
- $/…/crs/Disk1/runInstaller -ignoreSysPrereqs 避免操作系统版本检查报错
检查crs安装
crsstat -t
crsctl check cssd
crsctl check crsd
crsctl check evmd
crsctl check crs
crsctl query crs softwareversion
crsctl query crs softwareversion node2
$ORA_CRS_HOME/bin/olsnodes
oifcfg getif
清理公网网卡的VIP别名信息示例
On node1 as root : Ifconfig en0 delete 10.3.25.181
On node2 as root : Ifconfig en0 delete 10.3.25.182
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21162451/viewspace-720014/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/21162451/viewspace-720014/