Redhat 5.3 Cluster测试二三事

Redhat 5.3 Cluster 测试二三事

 

 

1.         Redhat 5.3 安装：

 

注意事项：

A 、安装 Red Hat Enterprise Linux 5.3 时会要求输入安装号，这时需输入，如果不输 Cluster 和 Virtualization 组件将不会出现；

 

B 、测试环境建议在 Xen 虚机里安装， Redhat Cluster 提供了 Xen 虚机环境下的 fencing 设备： Virtaul Machine Fencing 。如果在 VMWare 虚机里安装， fencing 设备需选 Manual fencing 或自己编译配置 VMWare 下的 fencing 设备。

 

2.         Redhat 5.3 Cluster 配置：

 

由于我们搭建的是实验环境，为了配置方便我们可以把 Cluster 各节点的防火墙和 SELinux 关掉：

 

关闭防火墙：

service iptables stop

chkconfig iptables off

 

关闭 Selinux ：

“系统” - “管理” - “ SELinux Managerment ”，把“ System Default Enfocing Mode ”设为“ Permissive ”或“ Disabled ”

 

另外我们需在每个节点上把 Cluster 服务设置为开机自启动：

chkconfig cman on

chkconfig clvmd on

chkconfig gfs on

chkconfig rgmanager on

 

Cluster 配置详细步骤见 Configuring and Managing a Red Hat Cluster for RHEL5.2 第 5 和第 6 大章。

 

注意事项：

A、 主机名要以“主机名 . 域名”的方式撰写，如 cluster1.domain 。需确保各主机名字不一样，否则重名的机器将无法加入集群；

B、 在“系统” - “管理” - “网络” - “主机”栏添加集群中所有主机的 IP 和名称；

 

3.         在两台后端存储设备 上建立 HA 镜像卷

 

4.         Redhat 5.3 Cluster 中各主机安装 iscsi initiator ：

 

rpm –ivh iscsi-initiator-utils-6.2.0.868-0.18.el5.x86_64

(
注：该安装包可在CentOS/

目录下找到 )

5.         Redhat 5.3 Cluster 中各主机扫描映射过来的 HA 卷：

 

iscsiadm --mode discovery --type sendtargets --portal 192.168.1.101

（假设 存储 服务器 1 IP 是 192.168.1.101 ）

 

iscsiadm --mode discovery --type sendtargets --portal 192.168.1.102

（假设 存储 服务器 2 IP 是 192.168.1.102 ）

 

iscsiadm --mode node --targetname iqn.2005-01.com.1 --portal 192.168.1.101:3260 –login

 

iscsiadm --mode node --targetname iqn.2005-01.com.2 --portal 192.168.1.102:3260 --login

 

然后把两台 存储 服务器的 HA 卷分别映射给 Cluster 中的各主机。

 

最后 Cluster 各主机重启 iscsi 服务：

 

service iscsi restart

 

注：蓝色字需根据实际 IP 和 iqn 填写。

 

6.         Multipath 设置

 

在 multipath 设置之前，每个节点看到的都是 HA 存储映射过来的两个卷，启用 multipath 后，将在之上形成一个 HA 卷，一般叫 dm-? 。

 

首先配置 /etc/multipath.conf 文件， 配置好后可以用 scp 命令把该文件传给 Cluster 中其它主机，如： scp /etc/multipath.conf 192.168.1.201:/etc/

 

启动 multipath ：

 

    modprobe dm-multipath

 

service multipathd start

 

chkconfig multipathd on

 

multipath -v3

 

multipath –l

( 查看 HA 卷名称：如 dm-3)

 

7.         在 HA 卷上建立 GFS 文件系统

 

现在我们要在映射过来的 HA 卷上 ( 如 dm-3) 建立 GFS 文件系统， GFS 可让集群中的所有节点共享同一个文件系统。设置步骤如下：

（ GFS 设置详细内容参见 3.1. Creating a File System ）

 

这里假设 Multipath 后看到的 HA 卷是 dm-3

 

[node1]

fdisk /dev/dm-3

这里我们要把 HA 裸设备格式化成 LVM 卷， fdisk 后将进入 fdisk 操作命令提示行，我们需进一步输入以下命令：

 

m ( 查看 fdisk 命令列表 ),

n ( 新建 fdisk 分区 ),

p ( 分区类型选为 primary 主分区 ),

1 ( 主分区号选为 1),

enter ( 回车确认分区默认起始块 ),

enter ( 回车确认分区默认结束块 ),

t ( 更改分区类型 ),

8e ( 设置分区类型为 8e ，即 LVM 分区 ),

w ( 保存设置退出 )

 

把 HA 卷 dm-3 设为物理盘：

pvcreate /dev/dm-3

 

创建 VG ha ，并把物理盘 dm-3 添加到该 VG 中：

vgcreate ha /dev/dm-3

 

激活 VG ：

vgchange -a y ha

 

在该 VG 下创建 512M 大小的逻辑卷 (LV) lvha1 ：

lvcreate -L512 -n lvha1 ha

 

[node2]

service clvmd restart

( 必要，如果还有其它节点，需执行同样步骤，以确保在 node1 节点上建立的逻辑卷可被其他节点看到 )

 

[node1]

mkfs.gfs2 -j 2 -p lock_dlm -t tl_cluster:ha /dev/ha/lv1

( 注： -j 2 指 Redhat 集群中有 2 个节点，如果有 3 个节点，需改成 3 ，以此类推 )

 

挂载该 GFS 文件系统：

[node1]

mount /dev/ha/lv1 /mnt/ha

 

8.         配置集群服务：

 

这里我们将让 Redhat Cluster 提供 NFS 集群服务：

 

在每台节点上输入以下命令：

 

service nfs start

 

chkconfig nfs on

 

然后设置集群服务，添加 IP 、 GFS 、 NFS Export 、 NFS Client Resource 和 Service ，设置详细步骤参见 1. NFS over GFS in a Red Hat Cluster 。

 

注意事项：

NFS Client Resource 设置中的 Path 需设为访问 Cluster 服务的 Linux 或 Unix 客户机上的 mount 路径，如 /mnt/ha ，在客户机上需首先建立该目录：

[nfsclient]

 

mkdir /mnt/ha

 

然后 mount Cluster 集群上的 HA 卷： ( 假设 Cluster 对外 IP 是 192.168.1.203)

 

mount 192.168.1.203:/mnt/ha /mnt/ha

 

至此环境搭建完成，大家可进行下一步的集群failover和存储failover测试了。