llinu启动oracle数据库,RAID与磁盘阵列] USP-V将DS8000虚拟的全过程

分类： 服务器与存储

2010-09-08 21:36:56

1．        光纤交换机

a.        在光纤交换机创建Zoning，允许USP-VM访问现有存储的端口；允许主机访问USP-VM的端口(为下一步分配资源做准备，但未在USP-VM进行映射和绑定主机HBA的wwn之前，主机不会访问到USP-VM的资源)；

b.        Zoning信息

交换机        Zoning Name        描述        成员1        成员2        备注

2．        新增存储设置

a.        包括光纤端口的连接属性(交换机模式，固定速率模式等)和处理器属性更改为External Port等信息；如下所示：

b.        可提前完成；

3．        DS8000进行设置

通过对存储进行设置，确认USP-VM可以访问DS8000对应的端口号

2.2.4        虚拟化现有存储

通过在USP-VM上执行虚拟化操作，使得可以看到虚拟化的资源；

1.        停止主机对现有存储系统的访问；

a.        停应用系统；

b.        停数据库；

c.        执行umount文件系统；

d.        执行#varyoffvg；

e.        删除原有的磁盘设备，#rmdev –dl hdisk或者删除HBA卡部分，#rmdev –dl fscsi;

2.        DS8000调整LUN Mapping

a.        停止主机对现有存储的访问；

b.        将需要进行虚拟化的LUN分配给USP-VM；

c.        设置为Windows Non-cluster模式；

d.        确认USP-VM对应端口的wwn被DS8000检测到，并对应绑定；

3.        USP-VM扫描虚拟化的LUN；

a.        通过图形界面连接到USP-VM；

b.        执行如下操作：

c.        选择Add Volume (Manual)，进行扫描；

d.        选择端口；

e.        系统发现外部存储信息；

f.        设置外部资源的属性；

g.        定义地址

经过上述步骤的操作，将DS8000的LUN虚拟化之后设置为USP-VM的内部资源；

4.        分配资源到主机

通过映射将虚拟化之后的存储资源分配给主机；

a.        通过图形界面连接到USP-VM；选择LUN Manager;

b.        创建Host Group；

c.        映射LUN，将虚拟化之后的LUN分配给主机；

d.        绑定主机wwn;

同样的操作对其他端口进行。

5.        操作系统安装HDLM多路径软件：参照HDLM安装部分；

6.        主机检测磁盘；

a.        在主机执行#cfgmgr –vl fscsi;

b.        确认检测到对应的磁盘；#lsdev –Ccdisk;

c.        确认多路径信息#lspath；

d.        修改磁盘队列深度等属性；#chdev –l hdisk-a queue_depth=8;

e.        执行#importvg操作，使用新的磁盘信息，并确认vg和磁盘pvid的对应关系；

2.2.5        启动应用

通过新的虚拟化之后的资源访问，启动应用；

1.        根据实际情况，必要时修改裸设备的属主关系；#chown;

2.        挂载文件系统；

3.        启动应用进行检查。

2.2.6        风险规避和回退

1.        整体虚拟化：

a.        上述虚拟化只是对扫描到的存储资源进行定义地址，不会对现有存储的数据进行任何修改，因此数据安全可以保障；

b.        操作之前对现有存储的配置信息进行了备份，回退操作：将新存储上增加允许USP-VM访问部分删除即可；

c.        操作之前进行了数据备份，在数据安全性方面增加更大的保障；

2.        光纤交换机

a.        执行之前进行了配置信息备份，可以确保安全性；

b.        只是增加新的访问Zoning关系，不会删除原来的Zoning关系，对原来的影响小；

c.        回退操作：必要时将新增加的Zoning删除即可；

3.        主机层面和存储层面

a.        因为虚拟化操作不会删除主机对DS8000的访问设置，只是修改，因此更改回原来设置即可恢复；

b.        操作之前进行了信息的备份，主要是vg对应信息；

c.        虚拟化之后直接执行#importvg；如果出现异常，则回退操作：

i.        删除新检测到的磁盘信息；

ii.        在DS8000上重新设置主机的访问；

iii.        取消USP-VM的访问设置(删除wwn绑定)；

iv.        重新检测磁盘；

v.        重新#importvg；

d.        多路径软件HDLM只是针对HDS磁盘信息进行管理，不会影响原来的访问模式，如果出现异常，则可以将HDLM卸载即可。

第3章        HDLM实施

本安装以HDLM for AIX 5.9.x以上版本为例。

下述步骤在每台AIX服务器上都需执行一遍。

1.        以root用户登录AIX，确认OS能够识别到存储的LUN。

如果AIX主机配置了2块FC HBA卡，那么没有安装HDLM之前主机能识别到的hdisk(s)数量是映射到这台主机的LU(s)的n倍(n与映射的路径数量有关)，例如，磁盘阵列划分了1个LU，并映射2条路径到主机后，主机能识别到2个hdisk设备。

以下均假设IBM主机连接到1台HDS磁盘阵列，每台主机配置了2块FC HBA卡。

2.        安装hdlm之前删除hdisk设备；#rmdev –dl hdisk；

3.        修改HBA卡参数，以满足HDLM需要；

#rmdev –l fscsi-R;

重复执行上述步骤对连接HDS磁盘阵列的HBA卡进行操作；

#chdev –l fscsi-a fc_err_recov=fast_fail;

重复执行上述步骤对连接HDS磁盘阵列的HBA卡进行操作;

#lsattr –El fscsi检查确认fc_err_recov已经设置为fast_fail;

4.        把HDLM许可(license key)光盘插入光驱，mount上光驱后保存许可文件到/var/tmp/下，更名为hdlm_license(/var/tmp/hdlm_license)。

# mount -rv cdrfs /dev/cd0 /mnt

或

# mount -v cdrfs -o ro /dev/cd0 /mnt

mount上光盘后，

# cp /mnt/hds_hdlm.plk /var/tmp/

# cp /var/tmp/hds_hdlm.plk /var/tmp/hdlm_license

# umount /dev/cd0

5.        安装正确的odm驱动程序(odm包常包含在HDLM光盘中)：

将odm包以bin模式ftp到AIX服务器；

# mkdir /tmp/hds

# cp –r aix_odm.tar /tmp/hds/

# cd /tmp/hds

# tar xvf *.tar

#inutoc .

# installp –aXgd ./ all

Odm驱动安装完后，继续执行以下步骤。

6.        安装HDLM软件。执行下述安装命令：

# installp -aXgd /dev/cd0 all

如果HDLM已从光盘拷贝到系统的一个目录下，则：

# installp -aXgd directory-copied-from-CD-ROM all

directory-copied-from-CD-ROM指HDLM所在的目录路径。

7.        执行下述命令确认软件包已经安装：

# lslpp -L DLManager.mpio.rte

确认输出列表的 fileset 项包含DLManager.mpio.rte，其status是C (commit)。

8.        执行 cfgmgr 配置HDLM设备：

#cfgmgr –vl fcs；

分别对各个连接到存储的HBA卡进行扫描；

确认fcs扫描正常之后，再执行#cfgmgr –v做全部扫描；

确认HDLM相关的设备是可用的，例如：

# lsdev -Ccdisk

hdisk0 Available 0E-08-00-3,0 16 Bit LVD SCSI Disk Drive

hdisk1 Available 0E-08-00-4,0 16 Bit LVD SCSI Disk Drive

hdisk2 Available 0E-08-00-5,0 16 Bit LVD SCSI Disk Drive

hdisk3 Available 0D-08-01     Hitachi Disk Array (Fibre)

hdisk4 Available 0D-08-01     Hitachi Disk Array (Fibre)

hdisk5 Available 0D-08-01     Hitachi Disk Array (Fibre)

#lspath

Enabled hdisk0 scsi3

Enabled hdisk1 scsi3

Enabled hdisk2 scsi3

Enabled hdisk3 fscsi0

Enabled hdisk4 fscsi0

Enabled hdisk5 fscsi0

Enabled hdisk3 fscsi1

Enabled hdisk4 fscsi1

Enabled hdisk5 fscsi1

确认每个hdisk都对应两块HBA卡

9.        确认HDS磁盘阵列设备对应的物理卷被HDLM管理。

例如，可执行下述命令检查：

# /usr/DynamicLinkManager/bin/dlnkmgr view -drv

PathID HDevName OSPathID LDEV

000000 hdisk0 0000 9500V.0051.0005

000001 hdisk1 0000 9500V.0051.0015

000002 hdisk2 0000 9500V.0051.0020

000003 hdisk0 0001 9500V.0051.0005

000004 hdisk1 0001 9500V.0051.0015

000005 hdisk2 0001 9500V.0051.0020

KAPL01001-I The HDLM command completed normally. Operation name = view, completion time =

yyyy/mm/dd hh:mm:ss

10.        执行 dlnkmgr 命令的 view 选项检查HDLM的状态。

下面是命令执行的一个例子：

#/usr/DynamicLinkManager/bin/dlnkmgr view -sys

HDLM Version : xx-xx

Service Pack Version :

Load Balance : on(rr)

Support Cluster :

Elog Level : 3

Elog File Size (KB) : 9900

Number Of Elog Files : 2

Trace Level : 0

Trace File Size(KB) : 1000

Number Of Trace Files : 4

Path Health Checking : on(30)

60 Chapter 3 Creating an HDLM Environment

Auto Failback : off

Intermittent Error Monitor : off

HDLM Manager Ver WakeupTime

Alive xx-xx yyyy/mm/dd hh:mm:ss

HDLM Alert Driver Ver WakeupTime ElogMem Size

Alive xx-xx yyyy/mm/dd hh:mm:ss 4000

HDLM Driver Ver WakeupTime

Alive xx-xx yyyy/mm/dd hh:mm:ss

License Type Expiration

Permanent -

KAPL01001-I The HDLM command completed normally. Operation name = view, completion time

= yyyy/mm/dd hh:mm:ss

即使使用了cluster软件，cluster软件的名字在Support Cluster项也是没有显示的，但cluster支持功能是运行正常的。

11.        根据需要修改磁盘的队列深度和访问超时设置

# chdev -l hdiskn -a queue_depth=8 -a rw_timeout=60

12.        如果使用Oracle RAC，则对应磁盘的Reservation需要修改。

检查当前设置信息：

# lsattr -El hdiskn -a reserve_policy

reserve_policy PR_exclusive N/A TRUE

更改设置

# chdev -l hdiskn -a reserve_policy=no_reserve

再次检查设置是否生效

# lsattr -El hdiskn -a reserve_policy

reserve_policy no_reserve N/A TRUE

13.        设置HACMP注册信息

从Smit进入

Communications Applications and Services, HACMP for AIX, Extended Configuration,

Extended Resource Configuration, HACMP Extended Resource Configuration,

Configure Custom Disk Methods, and finally choose Add Custom Disk Methods.

Disk Type (PdDvLn field from CuDv)

disk/fcp/Hitachi

Method to identify ghost disks

SCSI3

Method to determine if a reserve is held

/usr/DynamicLinkManager/cluster/dlm_hacmp_gdisk_reserve_check

Method to break a reserve

TARGET

Break reserves in parallel

false

Method to make the disk available

MKDEV

通过以下操作进行同步

Communications Applications and Services, HACMP for AIX, Extended Configuration,

and finally choose Extended Verification and Synchronization.

以上操作也可以在HACMP的各个节点上进行注册，再执行同步。

14.        执行下述命令确认物理卷被识别。

# cfgmgr

# lsdev -Cc disk

# lspv

如果lspv后显示hdisknone        none，请执行：

# chdev -l hdisk-a pv=yes

# lspv

如果hdisk的第一none已变成一串16进制的数值(PVID号)，说明HDLM已正确安装完成，hdisk也可以开始配置卷组(Volume Group)。

上述操作也可以通过创建vg时自动生成PVID信息。

注：

1.        卸载HDLM for AIX：

# /usr/DynamicLinkManager/bin/dlmrmdev -A

# installp -u DLManager.mpio

此外，如果在安装HDLM for AIX过程中异常终止，执行下述命令清除安装信息后才可重新安装：

# installp -C

2.        如果hdisk在其中一台主机上已配置卷组，而在另一台主机上hdisk的PVID号还是none 的话，则需要在配置卷组的主机上执行：

# varyoffvg Volume-Group-Name

然后才能通过 chdev 改变hdisk的 PVID 号。执行 chdev 后可以执行 importvg 命令导入卷组配置。

# importvg -y volume-Group-Name hdisk3.        如果光纤线缆的连接发生改变或者重新划分了LUN，请删除原有设备名，再执行 cfgmgr ：

# /usr/DynamicLinkManager/bin/dlnkmgr view -drv

000000 hdisk0 0000 9500V.0051.0005

000001 hdisk1 0000 9500V.0051.0015

# /usr/DynamicLinkManager/bin/dlmrmdev –A

# rmdev -dl hdisk0

# rmdev -dl hdisk1

# cfgmgr

阅读(1926) | 评论(0) | 转发(0) |

给主人留下些什么吧！~~

评论热议

请登录后评论。