最新的单机Lustre文件系统的安装

最新推荐文章于 2023-12-16 16:12:04 发布

碧蓝幻想

最新推荐文章于 2023-12-16 16:12:04 发布

阅读量373

点赞数 1

分类专栏： Lustre 文章标签：运维 linux 服务器 Lustre E2fsprogs

本文链接：https://blog.csdn.net/qq_56776641/article/details/132460711

版权

Lustre 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

1.单机Lustre的搭建：

主机名	IP地址	内存	添加的共享磁盘大小
Centos7.9-test机	192.168.10.30/24	1G	20G

1.安装E2fsprogs包

下载OSS服务器所需要的包：E2fsprogs包只是在Ext4的原版RPM包基础上增加了对Lustre⽀持

mkdir ~/e2fsprogs && cd ~/e2fsprogs
wget -c -r -nd https://downloads.whamcloud.com/public/e2fsprogs/1.44.5.wc1/el7/RPMS/x86_64/
rm -rf index.html* unknown.gif *.gif sha256sum

全部rpm安装：

[root@slave1 e2fsprogs]# cd ~/e2fsprogs && rpm -Uvh *
准备中...                          ################################# [100%]
正在升级/安装...
   1:libcom_err-1.42.12.wc1-4.el7.cent################################# [  8%]
   2:e2fsprogs-libs-1.42.12.wc1-4.el7.################################# [ 15%]
   3:libcom_err-devel-1.42.12.wc1-4.el################################# [ 23%]
   4:libss-1.42.12.wc1-4.el7.centos   ################################# [ 31%]
   5:e2fsprogs-1.42.12.wc1-4.el7.cento################################# [ 38%]
   6:libss-devel-1.42.12.wc1-4.el7.cen################################# [ 46%]
   7:e2fsprogs-devel-1.42.12.wc1-4.el7################################# [ 54%]
   8:e2fsprogs-static-1.42.12.wc1-4.el################################# [ 62%]
   9:e2fsprogs-debuginfo-1.42.12.wc1-4################################# [ 69%]
正在清理/删除...
  10:e2fsprogs-1.42.9-19.el7          ################################# [ 77%]
  11:e2fsprogs-libs-1.42.9-19.el7     ################################# [ 85%]
  12:libss-1.42.9-19.el7              ################################# [ 92%]
  13:libcom_err-1.42.9-19.el7         ################################# [100%]

2.安装lustre包：

下载MDS服务器所需要的包：

wget命令参数	说明
-c	断点续传
-r	递归下载
-nd	不分层，所有文件下载到当前目录下

rpm包	说明
kernel-*.el7_lustre.x86_64.rpm	带 Lustre 补丁的 Linux 内核
kmod-lustre-*.el7.x86_64.rpm	Lustre 补丁内核模块
kmod-lustre-osd-ldiskfs-*.el7.x86_64.rpm	基于 ldiskfs 的 Lustre 后端文件系统工具
lustre-*.el7.x86_64.rpm	Lustre 软件命令行工具
lustre-osd-ldiskfs-mount-*.el7.x86_64.rpm	基于ldiskfs 的 mount.lustre和mkfs。lustre相关帮助文档

mkdir ~/lustre2.12.1 && cd ~/lustre2.12.1
yum install -y wget
wget \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kernel-3.10.0-957.10.1.el7_lustre.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kmod-lustre-2.12.1-1.el7.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kmod-lustre-osd-ldiskfs-2.12.1-1.el7.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/lustre-2.12.1-1.el7.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/lustre-osd-ldiskfs-mount-2.12.1-1.el7.x86_64.rpm

安装依赖（否则报错error: Failed dependencies:）：

yum clean all && yum repolist
yum install -y linux-firmware dracut selinux-policy-targeted kexec-tools libyaml perl

全部rpm安装：(如果无法安装就强行安装)
```
cd ~/lustre2.12.1 && rpm -ivh *.rpm --force
```
重启服务器：
```
init 6
```

检查内核：

[root@master ~]# uname -r
3.10.0-957.el7_lustre.x86_64

加载Lustre模块：lustre_rmmod卸载模块

[root@master ~]# modprobe lustre
[root@master ~]# lsmod | grep lustre
lustre                758679  0 
lmv                   177987  1 lustre
mdc                   232938  1 lustre
lov                   314581  1 lustre
ptlrpc               2264705  7 fid,fld,lmv,mdc,lov,osc,lustre
obdclass             1962422  8 fid,fld,lmv,mdc,lov,osc,lustre,ptlrpc
lnet                  595941  6 lmv,osc,lustre,obdclass,ptlrpc,ksocklnd
libcfs                421295  11 fid,fld,lmv,mdc,lov,osc,lnet,lustre,obdclass,ptlrpc,ksocklnd

3.格式化和挂载：

添加一块20G的硬盘

GPT分区：

使用fdisk命令中的帮助查看可以操作的指令，其中m查看帮助、n创建分区、p查看分区情况、t修改分区类型、w保存退出。

[root@master ~]# fdisk /dev/sdb
欢迎使用 fdisk (util-linux 2.23.2)。

更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。

Device does not contain a recognized partition table
使用磁盘标识符 0xa44e96c5 创建新的 DOS 磁盘标签。

命令(输入 m 获取帮助)：

[root@master ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part 
  ├─centos-root 253:0    0   17G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
├─sdb1            8:17   0    5G  0 part 
├─sdb2            8:18   0    5G  0 part 
└─sdb3            8:19   0    5G  0 part 
sr0              11:0    1  9.5G  0 rom

当OSS服务器硬盘添加并分区后，Lustre格式化：

Lustre格式化参数	说明
--fsname	设置Lustre集群的名称，Lustre文件系统的标识，必须唯一
--mgsnode	mgs节点的IP地址
--mgs	将分区格式化为MGS，MGS（ManaGe Server）是⽤来记录整个Lustre状态的服务
--mdt	将分区格式化为MDT，MDT（MetaData Target）是存放Lustre元数据服务的设备
--ost	将分区格式化为OST，OST（Object Storage Target）则是存储Lustre数据的设备
--reformat	跳过检查，防止格式化操作清除已有的数据

[root@master ~]# mkfs.lustre --mgs --mgsnode=192.168.10.23@tcp --backfstype=ldiskfs --reformat /dev/sdb1

   Permanent disk data:
Target:     MGS
Index:      unassigned
Lustre FS:  
Mount type: ldiskfs
Flags:      0x64
              (MGS first_time update )
Persistent mount opts: user_xattr,errors=remount-ro
Parameters: mgsnode=192.168.10.20@tcp

checking for existing Lustre data: not found
device size = 5120MB
formatting backing filesystem ldiskfs on /dev/sdb1
        target name   MGS
        4k blocks     1310720
        options        -q -O uninit_bg,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F
mkfs_cmd = mke2fs -j -b 4096 -L MGS  -q -O uninit_bg,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F /dev/sdb1 1310720
Writing CONFIGS/mountdata

[root@master ~]# mkfs.lustre --fsname global --mdt --index=0 --mgsnode=192.168.10.23@tcp --backfstype=ldiskfs --reformat /dev/sdb2

   Permanent disk data:
Target:     global:MDT0000
Index:      0
Lustre FS:  global
Mount type: ldiskfs
Flags:      0x61
              (MDT first_time update )
Persistent mount opts: user_xattr,errors=remount-ro
Parameters: mgsnode=192.168.10.20@tcp

checking for existing Lustre data: not found
device size = 5120MB
formatting backing filesystem ldiskfs on /dev/sdb2
        target name   global:MDT0000
        4k blocks     1310720
        options        -J size=204 -I 1024 -i 2560 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F
mkfs_cmd = mke2fs -j -b 4096 -L global:MDT0000  -J size=204 -I 1024 -i 2560 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F /dev/sdb2 1310720
Writing CONFIGS/mountdata

[root@master ~]# mkfs.lustre --fsname global --ost --index=0 --mgsnode=192.168.10.23@tcp --backfstype=ldiskfs --reformat /dev/sdb3

   Permanent disk data:
Target:     global:OST0000
Index:      0
Lustre FS:  global
Mount type: ldiskfs
Flags:      0x62
              (OST first_time update )
Persistent mount opts: ,errors=remount-ro
Parameters: mgsnode=192.168.10.20@tcp

checking for existing Lustre data: not found
device size = 5120MB
formatting backing filesystem ldiskfs on /dev/sdb3
        target name   global:OST0000
        4k blocks     1310720
        options        -J size=204 -I 512 -q -O extents,uninit_bg,dir_nlink,quota,huge_file,flex_bg -G 256 -E resize="4290772992",lazy_journal_init -F
mkfs_cmd = mke2fs -j -b 4096 -L global:OST0000  -J size=204 -I 512 -q -O extents,uninit_bg,dir_nlink,quota,huge_file,flex_bg -G 256 -E resize="4290772992",lazy_journal_init -F /dev/sdb3 1310720
Writing CONFIGS/mountdata

格式化之后，挂载Lustre文件系统（mgs，mdt，ost）和客户端：-t指定文件系统的类型

[root@localhost ~]# mkdir /mnt/sdb1;mkdir /mnt/sdb2;mkdir /mnt/sdb3;mkdir /mnt/global1;mkdir /mnt/global2
mount -t lustre /dev/sdb1 /mnt/sdb1
mount -t lustre /dev/sdb2 /mnt/sdb2;mount -t lustre /dev/sdb3 /mnt/sdb3
mount -t lustre 192.168.10.23@tcp:/global /mnt/global1;mount -t lustre 192.168.10.23@tcp:/global /mnt/global2

cat << eof >> /etc/fstab
/dev/sdb1  /mnt/sdb1  lustre  defaults  0   0
/dev/sdb2  /mnt/sdb2  lustre  defaults  0   0
/dev/sdb3  /mnt/sdb3  lustre  defaults  0   0
192.168.10.23@tcp:/global  /mnt/global1  lustre  defaults  0   0
192.168.10.23@tcp:/global  /mnt/global2  lustre  defaults  0   0
eof

查看Lustre的挂载情况：

[root@localhost ~]# mount | grep lustre
/dev/sdb1 on /mnt/sdb1 type lustre (ro,svname=MGS,nosvc,mgs,osd=osd-ldiskfs,user_xattr,errors=remount-ro)
/dev/sdb2 on /mnt/sdb2 type lustre (ro,svname=global-MDT0000,mgsnode=192.168.10.30@tcp,osd=osd-ldiskfs,user_xattr,errors=remount-ro)
/dev/sdb3 on /mnt/sdb3 type lustre (ro,svname=global-OST0000,mgsnode=192.168.10.30@tcp,osd=osd-ldiskfs,errors=remount-ro)
192.168.10.30@tcp:/global on /mnt/global type lustre (rw,lazystatfs)
192.168.10.30@tcp:/global on /mnt/global2 type lustre (rw,lazystatfs)

4.测试：

在/mnt/global客户端处，创建文件并写数据：

[root@localhost ~]# echo "Hello Lustre,I am client1" > /mnt/global/first_file

碧蓝幻想

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
最新的单机Lustre文件系统的安装

使用fdisk命令中的帮助查看可以操作的指令，其中m查看帮助、n创建分区、p查看分区情况、t修改分区类型、w保存退出。格式化之后，挂载Lustre文件系统（mgs，mdt，ost）和客户端：-t指定文件系统的类型。加载Lustre模块：lustre_rmmod卸载模块。全部rpm安装：(如果无法安装就强行安装)添加一块20G的硬盘。
复制链接

扫一扫