Linux命令 lctl,lustre1.8.1 with linux as 5.3 on infiniband安装手

10台刀片nehalem两颗、16G内存，两颗146sas磁盘；安装redhat as5.3

64bit，ib网络。

主机名：ip

mds1 12.12.12.4

oss1 12.12.12.5

oss2 12.12.12.6

oss3 12.12.12.7

oss4 12.12.12.8

配置好ssh访问，配置好时间服务器ntp，相同的账号id

1、rpm -ivh

kernel-lustre-2.6.18-128.1.14.el5_lustre.1.8.1.x86_64.rpm

装完成后检查一下/boot/grub/grub.conf文件是否从lustre内核启动。

2、卸载本地的kernel-ib包；(解压ofed，运行uninstall)安装Lustre

的Ofed包，重启。(检查网络互联性)。这里有两个包需要安装。

3、rpm -ivh

lustre-modules-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.x86_64

4、安装lustre-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.x86_64

5、安装lustre-ldiskfs-3.0.9-2.6.18_128.1.14.el5_lustre.1.8.1.x86_64

6、升级 rpm -U

e2fsprogs-1.41.6.sun1-0redhat.rhel5.x86_64 (是升级，切记)

查询

rpm -qa |grep e2fsprogs

rpm -U e2fsprogs-1.41.6.sun1-0redhat.rhel5.x86_64.rpm

重启节点(在mds中要专门哪一个分区出来创建mkfs.lustre的文件系统，这里用/dev/sdb)

在mds和oss的/etc/modprobe.conf添加

options lnet networks=o2ib0(ib0),tcp0(eth0)

运行modprobe /etc/modprobe.conf让其生效。

登录mds1

创建文件系统：mkfs.lustre --fsname=dawnfs --mdt --mgs /dev/sdb;mkdir

/dawnfs;mount.lustre /dev/sdb /dawnfs (如果不行可以加--reformat)

oss1-4

mkfs.lustre --fsname=dawnfs --ost --mgsnode=ibnode4@o2ib0 /dev/sdd;mkdir

/dawnfs-oss1(1-4);mount.lustre /dev/sdd /dawnfs-oss1(1-4)

lctl ping

oss上运行lctl network up

后出现 opening /dev/lnet failed: No such device

hint: the kernel modules may not be loaded

LNET configure error 19: No such device

执行：

modprobe lnet；lctl network up；lsmod |grep lnet

加载上lnet

再lctl ping

如果没有client可以在oss上做测试：lctl

dl查看一下空间，和lustre配置情况

client安装

rpm -ivh --force

kernel-lustre-2.6.18-128.1.14.el5_lustre.1.8.1.x86_64.rpm

kernel-ib-1.4.1-2.6.18_128.1.14.el5_lustre.1.8.1.x86_64.rpm

lustre-client-modules-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.x86_64.rpm

lustre-client-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.x86_64.rpm;mkdir

/dawnfs

client

mount.lustre

test

dd if=/dev/zero of=/lustre/zero.dat bs=4M count=2