需求描述
有需求,才会有新产物生成。对于做平台,关键就是如何提高稳定、安全、高效的集群资源供用户使用。本次调整,实现了平台的软件安装路径和用户家目录统一管理,保障用户7*24小时用户登录平台。
平台使用Openldap进行用户统一管理,自取代nis使用至今,未出现过中断问题,相对来说还是比较稳定靠谱的。使用openldap统一进行用户管理,就需要平台中所有节点有统一共享的/home目录。
另外平台中所有软件安装采用module的方式,灵活加载及更换版本。实现该功能也需要平台中所有节点共享同一存储路径/opt,如果不使用共享的方式,就需要定期进行同步,保持所有节点的目录内容一致,这样管理维护起来成本会比较高。
解决方案
若要保证稳定,就需要有冗余节点。硬件上使用盘阵来解决,采用双控制器,配置多路径。前端节点至少2个,互相冗余。软件上使用Corosync+Pacemaker提供HA解决方案。
开始干活
配置存储和服务器
1. 硬件配置
一台DELL MD系列盘阵、2台R720服务器
盘阵接口:12Gb SAS
硬盘配置:12*4T 7.2k NL-SAS
采用9+2 Raid6,1块热备盘
2. IP地址分布
盘阵配置了2个管理IP:192.168.242.38/192.168.242.39
两台服务器IP:192.168.242.3/192.168.242.4
HOSTNAME:hpc-242-003/hpc-242-004
虚拟IP:192.168.242.40
心跳线地址:10.0.0.3/10.0.0.4
使用一根网线将两台服务器的2个网卡直连
3. 存储映射
这里将由11块磁盘组成的Raid6创建了2个VD,分别作为/opt目录和/home目录使用。映射时需要将这两组vd同时映射到2台服务器上,最终效果如下:
[root@hpc-242-003 ~]# multipath -ll
3600a0980006e2e77000001a3563a2f05 dm-1 DELL,MD34xx
size=5.0T features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 7:0:0:1 sdc 8:32 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
`- 7:0:1:1 sde 8:64 active ready running
3600a0980006e2e77000001a6563a2f24 dm-0 DELL,MD34xx
size=28T features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 7:0:0:0 sdb 8:16 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
`- 7:0:1:0 sdd 8:48 active ready running
在另外一个节点上也可看到相同的设备
[root@hpc-242-004 ~]# multipath -ll
3600a0980006e2e77000001a3563a2f05 dm-0 DELL,MD34xx
size=5.0T features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 5:0:1:1 sde 8:64 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
`- 5:0:0:1 sdc 8:32 active ready running
3600a0980006e2e77000001a6563a2f24 dm-1 DELL,MD34xx
size=28T features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 5:0:1:0 sdd 8:48 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
`- 5:0:0:0 sdb 8:16 active ready running
这里,存储的映射就做好了。具体做法这里不做详细说明,使用不同的存储整列操作方式可能都不相同,大致原理就是通过盘阵的管理界面将主机、sas端口、VD进行绑定,这里将两组vd作为一组资源、两台主机作为一组资源,通过sas线将组资源进行映射即可。
4. 软件安装及配置
需要安装的软件有多路径软件multipath,HA组件:Corosync+Pacemaker。
安装multipath
yum install device-mapper-multipath.x86_64
multipath安装完成后,默认没有配置文件,可将/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf拷贝至/etc目录下
cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/multipath.conf
拷贝过来后简单修改一个参数:
defaults {
user_friendly_names yes
}
将yes改成no,否则会出现别名,然后启动multipath服务
/etc/init.d/multipathd start
multipath服务启动后执行multipath -ll可能还发现不了磁盘设备,把系统重启一下即可。
- 安装Corosync+Pacemaker
yum install -y corosync
- 配置corosync
[root@hpc-242-004 corosync]# cat corosync.conf
# Autoconfigured by Intel Manager for Lustre
# DO NOT EDIT -- CHANGES MADE HERE WILL BE LOST
compatibility: whitetank
totem {
version: