文章目录
接上篇理论部分:认识RAID磁盘阵列
现在通过mdadm工具来完成软件RAID5和RAID10的Linux配置。
3、软件RAID管理-mdadm工具
mdadm
(multiple devices admin)是一个用于管理 Linux 软件 RAID (Redundant Array of Independent Disks) 的命令行工具。RAID 是一种将多个物理硬盘组合成一个或多个逻辑单元的技术,以提高数据冗余和性能。mdadm
提供了一套完整的工具来创建、管理和监控 Linux 下的软件 RAID 阵列。
安装mdadm组件
yum install mdadm
检查是否安装了组件
rpm -qa | grep "mdadm"
格式
- 创建新的 RAID 阵列 (
-C
/--create
)
mdadm -C -v /dev/mdX -l<RAID 级别> -n<磁盘数量> <磁盘列表>
C
:表示创建新的 RAID 阵列。v
:显示详细信息。/dev/mdX
:RAID 阵列的设备名称。l
:指定 RAID 级别(如 0, 1, 5, 6, 10 等)。n
:指定用于创建 RAID 的磁盘数量。<磁盘列表>
:参与 RAID 的磁盘分区列表。
- 显示 RAID 阵列的详细信息 (
-D
/--detail
)
mdadm --detail <RAID device>
<RAID device>
:要查看详细信息的 RAID 阵列的设备文件。
示例
mdadm -C -v /dev/md5 -l5 -n3 /dev/sd[b-d]1 -x1 /dev/sde1
选项说明
-C:新建。
-v:显示创建过程中的详细信息。
/dev/md5:创建 RAID5 的名称。
-a yes:–auto,表示如果有什么设备文件没有存在的话就自动创建,可省略。
-l:指定 RAID 的级别,l5 表示创建 RAID5。
-n:指定使用几块硬盘创建 RAID,n3 表示使用 3 块硬盘创建 RAID。
/dev/sd[bcd]1:指定使用这四块磁盘分区去创建 RAID。
-x:指定使用几块硬盘做RAID的热备用盘,-x1表示保留1块
闲的硬盘作备用
/dev/sde1:指定用作于备用的磁盘
mdadm命令其它常用选项
-r:从RAID阵列中移除一个设备
-a:添加一个新设备到 RAID 阵列
-S:停止RAID阵列
-A:启动RAID阵列
-D:查看RAID的详细信息
-E:检查设备是否已经是某个RAID阵列的一部分
-f:—fail将一个设备标记为故障
-R:强制启动一个RAID阵列
4、相关查询命令
查看创建RAID的进度
cat /proc/mdstat
或者使用watch命令可以指定间隔持续查看
watch -n 2 cat /proc/mdstat
在创建时输出:
Personalities : [raid6] [raid5] [raid4]
md5 : active raid5 sdh1[4] sdi1[3](S) sdg1[1] sdf1[0]
104787968 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
[===========>.........] recovery = 55.7% (29220992/52393984) finish=1.8min speed=204403K/sec
unused devices: <none>
创建完成后输出:
Personalities : [raid6] [raid5] [raid4]
md5 : active raid5 sdh1[4] sdi1[3](S) sdg1[1] sdf1[0]
104787968 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
unused devices: <none>
查看RAID磁盘详细信息
mdadm -D /dev/md5
输出:
/dev/md5:
Version : 1.2
Creation Time : Thu Oct 13 18:13:17 2022
Raid Level : raid5
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 3
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Thu Oct 13 18:15:02 2022
State : clean
Active Devices : 3 ---激活的设备
Working Devices : 4 ---工作的设备
Failed Devices : 0 ---不工作的设备
Spare Devices : 1 ---空闲的设备
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Name : 192.168.233.21:5 (local to host 192.168.233.21)
UUID : 3d950a02:3b0b3f96:f99f95ff:3149ae0b
Events : 18
Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
4 8 49 2 active sync /dev/sdd1
3 8 65 - spare /dev/sde1
查看文件系统的磁盘空间使用情况
df -h
输出示例:
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 894M 0 894M 0% /dev
tmpfs 910M 0 910M 0% /dev/shm
tmpfs 910M 11M 900M 2% /run
tmpfs 910M 0 910M 0% /sys/fs/cgroup
/dev/mapper/centos-root 25G 5.0G 20G 20% /
/dev/sda1 1014M 185M 830M 19% /boot
/dev/mapper/vg_group-lv_centeral 33G 33M 33G 1% /Central
/dev/mapper/vg_group-lv_north 33G 33M 33G 1% /North
/dev/mapper/vg_group-lv_east 33G 33M 33G 1% /East
tmpfs 182M 12K 182M 1% /run/user/42
tmpfs 182M 0 182M 0% /run/user/0
/dev/md5 100G 33M 100G 1% /mnt/md5
5、RAID配置示例
场景1:RAID5
4个50G的磁盘,组建RAID5磁盘阵列
步骤
- 查看磁盘列表
fdisk -l
- 创建分区,使用fdisk分别进入交互式界面并在交互式界面创建分区
fdisk /dev/sdf
fdisk /dev/sdg
fdisk /dev/sdh
fdisk /dev/sdi
输入n创建新分区,默认分区p,默认起止扇区,最后w保存
使用lsblk可以查看分区列表
- 更改分区类型为“Linux raid autodetect”
使用fdiskz分别进入交互式界面为或者在分区时一次性完成
输入t改变分区系统ID,输入fd将分区类型更改为 “Linux raid autodetect”,该分区将被自动识别为 RAID 分区
注:分区类型代码用来标识不同的文件系统和用途。每个分区类型都有一个对应的十六进制代码。如fd
代码表示分区类型为 “Linux raid autodetect”。可以通过输入 L
列出所有代码。
- 安装mdadm组件
yum install mdadm
检查是否安装了组件
rpm -qa | grep "mdadm"
- 创建RAID5磁盘阵列
mdadm -C -v /dev/md0 -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde1
- 查看创建进度
cat /proc/mdstat
- 查询详细信息
mdadm -D /dev/md5
- 格式化新创建的阵列盘
mkfs.xfs /dev/md5
- 挂载新创建的磁盘文件
mount /dev/md5 /mnt/md5
- 查看文件系统的磁盘空间使用情况
df -h
- 模拟故障
mdadm /dev/md5 -f /dev/sdh1
- 查看 RAID 状态
mdadm -D /dev/md5
或
mdadm --detail /dev/md5
此时可以看到有一个设备故障
- 恢复RAID阵列
(1)移除故障磁盘
mdadm /dev/md5 -r /dev/sdh1
(2)添加新的或修复的磁盘
mdadm /dev/md5 -a /dev/sdh1
- 检查恢复情况
mdadm -D /dev/md5
经检查,新添加的磁盘重建阵列,稍等片刻恢复正常
场景2:RAID10
依旧4块50G磁盘,每个盘已分区成3个10G和20G的空闲空间,使用每个盘的第2个分区创建RAID10。
思路:先做2个RAID1,再做1个RAID0,先做镜象,再做条带。
分区如下
sdf 8:80 0 50G 0 disk
├─sdf1 8:81 0 10G 0 part
├─sdf2 8:82 0 10G 0 part
└─sdf3 8:83 0 10G 0 part
sdg 8:96 0 50G 0 disk
├─sdg1 8:97 0 10G 0 part
├─sdg2 8:98 0 10G 0 part
└─sdg3 8:99 0 10G 0 part
sdh 8:112 0 50G 0 disk
├─sdh1 8:113 0 10G 0 part
├─sdh2 8:114 0 10G 0 part
└─sdh3 8:115 0 10G 0 part
sdi 8:128 0 50G 0 disk
├─sdi1 8:129 0 10G 0 part
├─sdi2 8:130 0 10G 0 part
└─sdi3 8:131 0 10G 0 part
步骤
- 更改分区类型为“Linux raid autodetect”
打开fdisk工具,输入t改变分区系统ID,输入fd将分区类型更改为 “Linux raid autodetect”
设备 Boot Start End Blocks Id System
/dev/sdh1 2048 20973567 10485760 83 Linux
/dev/sdh2 20973568 41945087 10485760 fd Linux raid autodetect
/dev/sdh3 41945088 62916607 10485760 83 Linux
- 创建2组RAID1
使用sdf2、sdg2和sdh2、sdi2 创建2组RAID1,分别命名md0和md1
mdadm -Cy /dev/md0 -l1 -n2 /dev/sd[fg]2
mdadm -Cv /dev/md1 -l1 -n2 /dev/sd[hi]2
或一条命令写法
mdadm -Cv /dev/md10 -l10 -n4 -x1 /dev/sd{b,c,d,e,f}1
- 创建1组RAID0
使用刚创建的md0和md1创建1组RAID0,命名md10,至此组成RAID10
mdadm -Cv /dev/md10 -l0 -n2 /dev/md0 /dev/md1
- 查看详情信息
查看3个RAID阵列的详细信息,运行正常
mdadm -D /dev/md0
mdadm -D /dev/md1
mdadm -D /dev/md10
- 格式化新分区
格式化刚组成的RAID10分区,即md10
mkfs.xfs /dev/md10
- 模拟故障
可以使两块RAID1各挂1块,如md0的sdf2或sdg2和md1的sdh2或sdi2。
由于RAID0是基于两组RAID1创建的虚拟分区,因此测试其意义不大。
mdadm /dev/md0 -f /dev/sdg2
mdadm /dev/mdq -f /dev/sdi2
- 检查模拟的故障状态
经测试两组各挂了一块盘,RAID1组仍正常运行。
mdadm -D /dev/md0
mdadm -D /dev/md1
- 恢复RAID阵列,即重新添加盘
(1)移除故障磁盘
mdadm /dev/md0 -r /dev/sdg2
mdadm /dev/md1 -r /dev/sdi2
(2)添加新磁盘
mdadm /dev/md0 -a /dev/sdg2
mdadm /dev/md1 -a /dev/sdi2
- 检查恢复情况
mdadm -D /dev/md0
mdadm -D /dev/md1
mdadm -D /dev/md10
经检查,新添加的磁盘重建阵列,稍等片刻恢复正常
- 挂载到系统
mount /dev/md10 /mnt/md10/
挂载到系统后即可正常使用RAID10磁盘阵列分区
- 检查磁盘信息
使用df -hT命令查看系统中所有文件系统的挂载信息和文件系统类型
df -hT
已成功挂载并且正常显示,一切正常
6、移除RAID阵列
-
卸载文件系统:
如果RAID阵列上有挂载的文件系统,需要先卸载它。
使用
umount /dev/mdX
命令来卸载RAID设备上的文件系统。 -
移除RAID设备:
使用
mdadm -S /dev/mdX
停止RAID阵列。或者使用
mdadm --remove /dev/mdX
命令来移除RAID设备。从mdadm的配置中删除RAID设备的定义,但不会修改磁盘上的数据或分区。
-
清除超级块:
清除RAID成员设备上的超级块信息(以防止将来意外地重新加入RAID阵列,也是彻底移除必需的)。
使用
mdadm --misc --zero-superblock /dev/sdXN
或者mdadm --zero-superblock /dev/sdXN
命令,其中/dev/sdXN
是RAID成员设备的分区名称(例如/dev/sdb1
)。有几块硬盘,就按格式删几次,注意最后面的硬盘名称,也可以写在一条命令:
mdadm --misc --zero-superblock /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
-
删除配置文件
删除
rm -rf /etc/mdadm.conf
。
注:部分图片来源于网络,侵删。