Lustre并行文件系统建设

---

Author By esxu

2015/08/19

项目背景介绍

本次项目目的在于构建一个具有高性能、支持高并发读写、文件共享的存储系统。Lustre在HPC领域被广泛使用，本次项目建设也是在调研了其他诸多文件系统之后，最终选择Lustre文件系统作为软件部分，由于Lustre文件系统本身无数据安全机制，必须构建于稳定的磁盘阵列之上，通过硬件的稳定性来解决数据的安全性。

硬件层面可以从两个方面来保证数据的安全性。

• RAID组

• 节点冗余

这里节点冗余包括MDS和OSS节点，2个MDS节点互为active/stanby模式，两个OSS节点均为active模式。基本上实现数据访问不中断。

软件安装

这里使用的是DDN打包好的es-hpc-2.1.2-Cent-r41-x86_64-DVD.iso镜像文件，直接作为操作系统的ISO文件安装操作系统即可。系统安装完毕后，所有相关软件均会同步安装完毕。安装的过程中若原先系统盘中有数据会提示你是否将原先数据格式清除，在系统盘引导界面需选择相应的安装项，按e键进入编辑模式，添加skip-sda-check参数，跳过安全检查，即可直接安装。

系统安装完毕后，需配置好一些准备工作：

• 确保TCP和IB网络正常
• 添加主机名-IP地址隐射关系
• 关闭防火墙和selinux
• 确保时间同步

确认完成以上内容后，即可开始文件系统创建。

MDS节点部署

MDS节点即为lustre的元数据节点，一般采用2台服务器作为mds节点进行部署，一个处于avtive状态，另一个处于standby状态。MDS节点安装配置分为几步：

• 格式化磁盘
• 配置lustre.conf文件
• 加载lustre内核模块
• 挂载磁盘

格式化磁盘

MDT

mkfs.lustre --mdt --index=0 --fsname=lustre --failnode=11.11.11.35@o2ib --failnode=192.168.242.35@tcp --mgsnode=11.11.11.34@o2ib --mgsnode=11.11.11.35@o2ib --mgsnode=192.168.242.34@tcp --mgsnode=192.168.242.35@tcp  --mkfsoptions="-m 1 -J size=4096"  --reformat --verbose /dev/mapper/mdt

MGT

mkfs.lustre --mgs --fsname=lustre --failnode=11.11.11.35@o2ib --failnode=192.168.242.35@tcp --reformat --verbose  /dev/mapper/mgt

命令比较长，不做过多解释，从字面上基本上都能理解各个参数的含义。

lustre.conf

lustre.conf为luster的配置文件，文件内容只有一项，是关于文件系统网络的配置：

[root@mds00 new]# cat /etc/modprobe.d/lustre.conf
options lnet networks=o2ib(bond0),tcp(eth2)

这里有两套网络，用逗号各个，注意语法规则，前面的为IB网络，后面的为tcp网络，括号里面的是网络设备名称，必须与当前处于up状态的网卡进行对应。这里ib网络用了2个端口进行绑定，所以用的是bond0，以太网为eth2网卡。

加载lustre内核模块

默认操作系统安装好后，系统启动不会加载lustre模块，可通过命令

lsmod|grep lustre

进行查看是否加载了lustre模块。

手动加载lustre模块：

modprobe lustre

整个文件系统创建最关键的一步就在这里，lustre内核模块加载成功后，后面基本上不有什么大的问题。因为lustre模块对操作系统的内核以及IB驱动的版本均有很强的依赖关系，有一个不匹配就会加载不上，如果报错，先检查lustre.conf文件格式是否正确，如果确认lustre.conf内容无误，再取查看具体messages日志信息。

挂载MDT、MGT

完成上面几步之后，即可进行MDT和MGT挂载.

MGT

mount -t lustre /dev/mapper/mgt /lustre/mgt/

MDT

mount -t lustre /dev/mapper/mdt /lustre/mdt/

挂载时间会比较长，大概1-2分钟，需要多等一会。

到这里就完成了lustre的mds节点部署。

OSS节点部署

oss节点即为lustre的数据存储节点，影响oss节点数量的因素有以下几个：

• 磁盘阵列的规模及聚合带宽
• 单个oss节点的网络带宽

为保障节点间高可用，原则上集群中oss节点数量应为偶数，两两互为备份。ost的数量也要求为偶数，互为备份的两个oss节点上挂载数目相同的ost。本次项目环境中仅有2个oss节点、14个ost，每组ost为8+2 Raid6，4块盘作为热备盘，磁盘阵列共144*6T 7.2k SAS盘.

部署oss节点与mds节点过程类似，步骤如下：

格式化磁盘

这里每个oss节点上共有7个ost

mkfs.lustre --ost --index=0 --fsname=lustre --failnode=11.11.11.37@o2ib --failnode=192.168.242.37@tcp --mgsnode=11.11.11.34@o2ib --mgsnode=11.11.11.35@o2ib --