集群计算机内存共享,求助-关于集群共享存储文件系统挂载与集群优化 - 计算模拟 - 小木虫 - 学术 科研 互动社区...

各位集群的同仁，我在集群搭建的时候(20个节点，其中node-1是控制节点，操作系统是Centos5)遇到一个共享存储配置方面的问题，特来寻求大家的帮助，不胜感激。问题如下：

原来20个节点，每个节点存储空间都很小，只有40G的硬盘空间，我们在配置的时候，用NFS共享了/home /opt /usr/loacl三个目录，

[root@node-20 /]# df -h

文件系统              容量  已用 可用 已用% 挂载点

/dev/sda1              38G  3.1G   33G   9% /

tmpfs                 3.9G     0  3.9G   0% /dev/shm

node-1:/opt            38G   33G  3.5G  91% /opt

node-1:/home           38G   33G  3.5G  91% /home

node-1:/usr/local      38G   33G  3.5G  91% /usr/local

后来集群增加了一个大的存储空间(20T)，并且挂载在/mnt/leofs下，每个节点都挂载了。

[root@node-1 ~]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda1              38G   33G  3.5G  91% /

tmpfs                 3.9G     0  3.9G   0% /dev/shm

none                   20T   22G   20T   1% /mnt/leofs/

我们在每个用户下根目录下建立了一个data目录(/home/user/data)，然后通过软连接到/mnt/leofs/user-data。

集群运转顺利，但是却不是最优的方案，存在数据传输慢的问题(除node-1外，计算节点都要先NFS回node-1，然后再由Node-1写数据到data，再软链接到共享存储)，这样其它几个节点都没有利用上挂载的共享存储(挂在每个节点的/mnt/leofs下)。

因此，我们想重新配置下集群，方案如超算中心一样：将大容量的共享存储挂载在每个节点的/home目录下，这样/home都不需要NFS了，数据直接在共享存储里读写，能够大大提高运算速度，包括一些计算软件都可以安装在共享存储里了，就可以不用NFS了。因此想请教下大家：

1、大容量共享存储如何挂载到每个节点的/home上？我试了下，将共享存储从node-20的/mnt/leofs卸载，none就没了，这时候想重新挂载的时候，发现不知道该去哪里找这个存储文件了……试了下mount none /mnt/leofs，提示说找不到这个设备。(该如何将存储系统挂载上呢？)

文件系统              容量  已用 可用 已用% 挂载点

/dev/sda1              38G  3.1G   33G   9% /

tmpfs                 3.9G     0  3.9G   0% /dev/shm

node-1:/opt            38G   33G  3.5G  91% /opt

node-1:/home           38G   33G  3.5G  91% /home

node-1:/usr/local      38G   33G  3.5G  91% /usr/local

超算中心的共享存储挂载情况如下：

控制节点：

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda3             271G  125G  133G  49% /

udev                   27G  164K   27G   1% /dev

/dev/sda1              99M   45M   50M  48% /boot

imd2@o2ib0:imd1@o2ib0:/lustre

106T   69T   32T  69% /home

计算节点：

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda4             131G   13G  112G  11% /

udev                   32G  148K   32G   1% /dev

/dev/sda1              99M   32M   63M  34% /boot

imd2@o2ib0:imd1@o2ib0:/lustre

106T   69T   32T  69% /home

大家会发现他们是将共享存储挂载在/home下了，并且没有用到NFS。他们是如何将imd2@o2ib0:imd1@o2ib0:/lustre挂载到/home上呢？

2、将共享存储挂载到每个节点的/home后，是否要重新添加用户，生成用户的根目录？

非常感谢。