任务描述:
服务器内置600GB*2(RAID1)硬盘作为系统盘,安装CentOS7.7(1908)。12个3.5寸扩展硬盘位,本次增加了6个2T SATA硬盘(1#~6#)。
本来打算做个RAID5(5+1),容量可以10TB,后来发现这台服务器的RAID卡,只支持RAID0 /1 /10,不支持RAID5,只好将1#和2#一起做了一个RAID1,其它3 4 5 6作为JBOD裸盘挂接。
使用lsblk,可以看到这个1#/2#的RAID1盘是sdb设备,其它#3 #4 #5 #6 盘分别是sdc sdd sde sdf(fdisk -l可以看到更详细的信息),如图:
[root@backupDK ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 557.9G 0 disk
├─sda1 8:1 0 1G 0 part /boot
└─sda2 8:2 0 556.9G 0 part
├─centos-root 253:0 0 50G 0 lvm /
├─centos-swap 253:1 0 15.7G 0 lvm [SWAP]
└─centos-home 253:2 0 491.2G 0 lvm /home
sdb 8:16 0 1.8T 0 disk
sdc 8:32 0 1.8T 0 disk
sdd 8:48 0 1.8T 0 disk
sde 8:64 0 1.8T 0 disk
sdf 8:80 0 1.8T 0 disk
计划:1. 将sdb作为邮件备份目录(因为有RAID1保护),容量为1.8T,分一个区挂载到/data-mail;2.将sdc-sdd-sde-sdf合并为一个分区,作为yum仓库软件存储,容量为7.2T,挂载为 /data-soft。
操作步骤:
1. 将RAID1的sdb设备分为一个区并挂载/data-mail
用parted分区/dev/sdb,如下
[root@backupDK ~]# # parted
GNU Parted 1.8.1
Using /dev/sda
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) select /dev/sdb //选择磁盘sdb
Using /dev/sdb
(parted) mklabel gpt //将MBR磁盘格式化为GPT
(parted) mkpart primary 0 -1 //将整块磁盘分成一个分区
(parted) print
Number Start End Size File system Name Flags
1 17.4kB 2190GB 2190GB primary
(parted) quit
Information: Don't forget to update /etc/fstab, if necessary.
格式化为xfs分区(-f 表示强制格式化),并挂载/data-mail目录下
[root@backupDK ~]# mkfs.xfs -f /dev/sdb
[root@backupDK ~]# mkdir /data-mail
[root@backupDK ~]# mount -xfs /dev/sdb /data-mail
2. 将JBOD设备sdc sdd sde sdf合并为一个分区并挂载/data-soft
linux逻辑文件系统原理见后
首先,对每个硬盘创建物理卷
[root@backupDK ~]# pvcreate /dev/sdc
[root@backupDK ~]# pvcreate /dev/sdd
[root@backupDK ~]# pvcreate /dev/sde
[root@backupDK ~]# pvcreate /dev/sdf
其次,创建一个物理卷组,名字为【LVMsoft】,并将4个硬盘都加入
[root@backupDK ~]# vgcreate LVMsoft /dev/sdc
[root@backupDK ~]# vgextend LVMsoft /dev/sdd
[root@backupDK ~]# vgextend LVMsoft /dev/sde
[root@backupDK ~]# vgextend LVMsoft /dev/sdf
vgdisplay查看一下物理卷组情况,可以看到4个硬盘都加入了,容量<7.28TB
[root@backupDK ~]# vgdisplay
--- Volume group ---
VG Name LVMsoft
System ID
Format lvm2
Metadata Areas 4
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 0
Open LV 0
Max PV 0
Cur PV 4
Act PV 4
VG Size <7.28 TiB
PE Size 4.00 MiB
Total PE 1907728
Alloc PE / Size 0 / 0
Free PE / Size 1907728 / <7.28 TiB
VG UUID vbLIF2-oZfv-WgxW-MRv5-nfFJ-DJaw-D5CSII
--- Volume group ---
VG Name centos
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 3
Open LV 3
Max PV 0
Cur PV 1
Act PV 1
VG Size <556.86 GiB
PE Size 4.00 MiB
Total PE 142556
Alloc PE / Size 142555 / <556.86 GiB
Free PE / Size 1 / 4.00 MiB
VG UUID Y1LacK-9sjd-BaNF-ReOp-RmYd-8sCa-5Ypc7S
第三,在物理卷组基础上创建LV分区,本例中只创建一个大分区,分区名为LVMsoft,注意不能超过前面显示的7.28TB,下面第一次创建就是因为容量7.28T超过限制而不成功
#lvcreate -L[自定义分区大小] -n[自定义分区名称] [vg名称]
#*分区大小不能超过硬盘容量总和*
[root@backupDK ~]# lvcreate -L7.28T -nsoft_DATA LVMsoft
Rounding up size to full physical extent 7.28 TiB
Volume group "LVMsoft" has insufficient free space (1907728 extents): 1908409 required.
[root@backupDK ~]# lvcreate -L7.2T -nsoft_DATA LVMsoft
Rounding up size to full physical extent 7.20 TiB
Logical volume "soft_DATA" created.
第四,格式化分区(xfs方式)和挂载到/data-soft下
[root@backupDK ~]# mkfs -t xfs /dev/LVMsoft/soft_DATA
meta-data=/dev/LVMsoft/soft_DATA isize=512 agcount=8, agsize=268435455 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=1932735488, imaxpct=5
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=521728, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@backupDK ~]# mkdir /data-soft
[root@backupDK ~]# mount /dev/LVMsoft/soft_DATA /data-soft
现在lsblk和df -hT查看一下系统分区情况,可以看到非常清楚。
[root@backupDK ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 557.9G 0 disk
├─sda1 8:1 0 1G 0 part /boot
└─sda2 8:2 0 556.9G 0 part
├─centos-root 253:0 0 50G 0 lvm /
├─centos-swap 253:1 0 15.7G 0 lvm [SWAP]
└─centos-home 253:2 0 491.2G 0 lvm /home
sdb 8:16 0 1.8T 0 disk /data-mail
sdc 8:32 0 1.8T 0 disk
└─LVMsoft-soft_DATA 253:4 0 7.2T 0 lvm /data-soft
sdd 8:48 0 1.8T 0 disk
└─LVMsoft-soft_DATA 253:4 0 7.2T 0 lvm /data-soft
sde 8:64 0 1.8T 0 disk
└─LVMsoft-soft_DATA 253:4 0 7.2T 0 lvm /data-soft
sdf 8:80 0 1.8T 0 disk
└─LVMsoft-soft_DATA 253:4 0 7.2T 0 lvm /data-soft
[root@backupDK ~]# df -hT
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root xfs 50G 9.8G 41G 20% /
devtmpfs devtmpfs 16G 0 16G 0% /dev
tmpfs tmpfs 16G 0 16G 0% /dev/shm
tmpfs tmpfs 16G 11M 16G 1% /run
tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 170M 845M 17% /boot
/dev/mapper/centos-home xfs 491G 9.1G 482G 2% /home
tmpfs tmpfs 3.2G 4.0K 3.2G 1% /run/user/42
tmpfs tmpfs 3.2G 48K 3.2G 1% /run/user/0
/dev/sdb xfs 1.9T 33M 1.9T 1% /data-mail
/dev/mapper/LVMsoft-soft_DATA xfs 7.2T 33M 7.2T 1% /data-soft
3. 加入到/etc/fstab中,分区开机自动挂载
[root@backupDK ~]# vi /etc/fstab
/dev/mapper/centos-root / xfs defaults 0 0
UUID=60fc5cef-6eb4-4c9f-9e10-7d700ad665d0 /boot xfs defaults 0 0
/dev/mapper/centos-home /home xfs defaults 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
/dev/sdb /data-mail xfs defaults 0 0
/dev/LVMsoft/soft_DATA /data-soft xfs defaults 0 0
补充说明
1. Linux逻辑文件系统:pv vg lv基本概念
需要知道Linux下对逻辑文件系统管理的概念:pv-vg-lv,pv是对应物理盘,vg将物理盘进行分组(组合),在vg基础上划分1-n个lv,这样lv的分区就可以比较灵活的进行空间管理。
- 物理卷(PV):一个物理卷就是一个单独的硬盘(hdisk0 , hdisk1...)。
- 卷组(VG):一个卷组由一个或若干个物理卷(硬盘)组成。
- 逻辑卷(LV):一个卷组可划分若干个逻辑卷。一个逻辑卷在物理上可能是不连续的,有可能跨越了一个卷组中的多个物理卷。
- 文件系统(FileSystem):是由若个文件和目录组成的分级树形结构。文件系统通过一个挂接点(mount point)连接到系统的逻辑卷上。文件系统类型有xfs,网络文件系统nfs,光盘文件系统cdrfs等等。
通过将这些物理存在的分区(或称为卷)PV(physical volume)进行整合,组成一个分区(卷)组VG(volume group),进而再次进行分配形成逻辑分区(卷)LV(logical volume)。创建成功的逻辑分区对于操作系统来说会想普通分区无异,其好处是可以动态调整分区大小。管理PV,VG,LV的工具称为逻辑卷管理器LVM(logical volume manager)。
2. “Device /dev/sde excluded by a filter.”提示的处理
其中有一块创建pv物理卷时候提示“Device /dev/sde excluded by a filter.”
[root@backupDK ~]# pvcreate /dev/sde
Device /dev/sde excluded by a filter.
查看一下pvdisplay,确实没有成功创建/dev/sde这个pv。
[root@backupDK ~]# pvdisplay
/dev/sdg: open failed: 找不到介质
/dev/sdh: open failed: 找不到介质
/dev/sdi: open failed: 找不到介质
/dev/sdk: open failed: 找不到介质
/dev/sdl: open failed: 找不到介质
--- Physical volume ---
PV Name /dev/sdc
VG Name LVMsoft
PV Size <1.82 TiB / not usable <1.09 MiB
Allocatable yes
PE Size 4.00 MiB
Total PE 476932
Free PE 476932
Allocated PE 0
PV UUID CbQjMk-kzxn-gc8Z-9xVo-67mC-M8U1-ffwsMT
--- Physical volume ---
PV Name /dev/sdd
VG Name LVMsoft
PV Size <1.82 TiB / not usable <1.09 MiB
Allocatable yes
PE Size 4.00 MiB
Total PE 476932
Free PE 476932
Allocated PE 0
PV UUID XwaA5m-HRek-BxvT-Svmx-5YjE-FoB1-qwa20X
--- Physical volume ---
PV Name /dev/sdf
VG Name LVMsoft
PV Size <1.82 TiB / not usable <1.09 MiB
Allocatable yes
PE Size 4.00 MiB
Total PE 476932
Free PE 476932
Allocated PE 0
PV UUID Xdex5X-050z-SOMs-vYYg-d5ZI-plxC-gGeiBc
......
因为这些2T sata硬盘是从其他设备上卸下来的,导致问题的原因是添加的磁盘已经有了分区表,需要运行parted命令重做分区表,然后重新创建的时候“y”擦除旧分区表。
[root@backupDK ~]# parted /dev/sde
GNU Parted 3.1
使用 /dev/sde
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel msdos
警告: The existing disk label on /dev/sde will be destroyed and all data on this disk will be lost. Do you want to continue?
是/Yes/否/No? y
(parted) quit
信息: You may need to update /etc/fstab.
[root@backupDK ~]# pvcreate /dev/sde
WARNING: dos signature detected on /dev/sde at offset 510. Wipe it? [y/n]: y
Wiping dos signature on /dev/sde.
Physical volume "/dev/sde" successfully created.
现在创建成功后,vgextend LVMsoft /dev/sde 加入LVMsoft这个vg,接着执行一切OK。