实现NFS HA共享目录

需求描述

有需求，才会有新产物生成。对于做平台，关键就是如何提高稳定、安全、高效的集群资源供用户使用。本次调整，实现了平台的软件安装路径和用户家目录统一管理，保障用户7*24小时用户登录平台。
平台使用Openldap进行用户统一管理，自取代nis使用至今，未出现过中断问题，相对来说还是比较稳定靠谱的。使用openldap统一进行用户管理，就需要平台中所有节点有统一共享的/home目录。
另外平台中所有软件安装采用module的方式，灵活加载及更换版本。实现该功能也需要平台中所有节点共享同一存储路径/opt，如果不使用共享的方式，就需要定期进行同步，保持所有节点的目录内容一致，这样管理维护起来成本会比较高。

解决方案

若要保证稳定，就需要有冗余节点。硬件上使用盘阵来解决，采用双控制器，配置多路径。前端节点至少2个，互相冗余。软件上使用Corosync+Pacemaker提供HA解决方案。

开始干活

配置存储和服务器

1. 硬件配置
一台DELL MD系列盘阵、2台R720服务器
盘阵接口：12Gb SAS
硬盘配置：12*4T 7.2k NL-SAS
采用9+2 Raid6,1块热备盘

2. IP地址分布
盘阵配置了2个管理IP：192.168.242.38/192.168.242.39
两台服务器IP：192.168.242.3/192.168.242.4
HOSTNAME:hpc-242-003/hpc-242-004
虚拟IP：192.168.242.40
心跳线地址:10.0.0.3/10.0.0.4
使用一根网线将两台服务器的2个网卡直连

3. 存储映射
这里将由11块磁盘组成的Raid6创建了2个VD，分别作为/opt目录和/home目录使用。映射时需要将这两组vd同时映射到2台服务器上，最终效果如下：

[root@hpc-242-003 ~]# multipath -ll
3600a0980006e2e77000001a3563a2f05 dm-1 DELL,MD34xx
size=5.0T features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 7:0:0:1 sdc 8:32 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
  `- 7:0:1:1 sde 8:64 active ready running
3600a0980006e2e77000001a6563a2f24 dm-0 DELL,MD34xx
size=28T features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 7:0:0:0 sdb 8:16 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
  `- 7:0:1:0 sdd 8:48 active ready running

在另外一个节点上也可看到相同的设备

    [root@hpc-242-004 ~]# multipath -ll
    3600a0980006e2e77000001a3563a2f05 dm-0 DELL,MD34xx
    size=5.0T features='0' hwhandler='0' wp=rw
    |-+- policy='round-robin 0' prio=1 status=active
    | `- 5:0:1:1 sde 8:64 active ready running
    `-+- policy='round-robin 0' prio=1 status=enabled
      `- 5:0:0:1 sdc 8:32 active ready running
    3600a0980006e2e77000001a6563a2f24 dm-1 DELL,MD34xx
    size=28T features='0' hwhandler='0' wp=rw
    |-+- policy='round-robin 0' prio=1 status=active
    | `- 5:0:1:0 sdd 8:48 active ready running
    `-+- policy='round-robin 0' prio=1 status=enabled
      `- 5:0:0:0 sdb 8:16 active ready running

这里，存储的映射就做好了。具体做法这里不做详细说明，使用不同的存储整列操作方式可能都不相同，大致原理就是通过盘阵的管理界面将主机、sas端口、VD进行绑定，这里将两组vd作为一组资源、两台主机作为一组资源，通过sas线将组资源进行映射即可。

4. 软件安装及配置

需要安装的软件有多路径软件multipath，HA组件：Corosync+Pacemaker。

• 安装multipath

  yum install device-mapper-multipath.x86_64
  

multipath安装完成后，默认没有配置文件，可将/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf拷贝至/etc目录下

cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf  /etc/multipath.conf  

拷贝过来后简单修改一个参数：

defaults {
        user_friendly_names yes
}

将yes改成no，否则会出现别名，然后启动multipath服务

 /etc/init.d/multipathd start

multipath服务启动后执行multipath -ll可能还发现不了磁盘设备，把系统重启一下即可。

• 安装Corosync+Pacemaker

yum install -y corosync

• 配置corosync

[root@hpc-242-004 corosync]# cat corosync.conf
# Autoconfigured by Intel Manager for Lustre
# DO NOT EDIT -- CHANGES MADE HERE WILL BE LOST
compatibility: whitetank

totem {
    version: