centos7.6进行软raid5制作

 centos7.6进行软raid5制作

备注(本次记录源于同事的分享)

原分享地址：同事分享直达

一、系统版本说明

1、系统版本说明

这里要制作软RAID 的操作系统版本是CentOS 7.6 64位。

2、检查服务器是否已经安装mdadm服务

[root@host2 ~]# rpm -qa |grep mdadm

3、安装mdadm服务
如果上面的命令没有结果输出，那么进行安装mdadm

[root@host2 ~]# yum install -y mdadm

4、查看磁盘情况
可以看到系统有/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde四个没有分区的磁盘。
注意：使用命令创建软raid时磁盘可以分区也可以不分区，但是使用disk命令分区时，磁盘的分区类型可以修改成 Linux raid autodetect，这样即使不配置 /etc/mdadm.conf 文件，系统重启时raid也能自启动。

[root@host2 ~]# lsblk

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   60G  0 disk 
├─sda1   8:1    0    1G  0 part /boot
├─sda2   8:2    0   16G  0 part [SWAP]
└─sda3   8:3    0   43G  0 part /
sdb      8:16   0    5G  0 disk 
sdc      8:32   0    5G  0 disk 
sdd      8:48   0    5G  0 disk 
sde      8:64   0    5G  0 disk 
sr0     11:0    1  4.3G  0 rom

二、磁盘分区、制作raid

1、磁盘分区

1.1和1.2根据磁盘大小选择其中一个命令去分区就行，一般选择parted命令分区。

注意：fdisk分区采用的是MBR格式，MBR无法支持超过2TB的硬盘，超过2TB的硬盘需要使用GPT分区，这里GPT分区用的是parted命令。

1.1、fdisk分区

分区示例如下以磁盘/dev/sdb分区为例，/dev/sdc、/dev/sdd、/dev/sde这三个磁盘分区与/dev/sdb分区过程一样。

[root@host2 ~]# fdisk /dev/sdb
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x8f2aa0c0.

Command (m for help): n                        # 开始创建分区
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): p                          # p 开始创建主分区(e 是创建逻辑分区)
Partition number (1-4, default 1):             # 回车(分区默认编号为1)
First sector (2048-10485759, default 2048):    # 回车(分区大小默认从2048开始)
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-10485759, default 10485759): # 回车(分区默认最大)
Using default value 10485759
Partition 1 of type Linux and of size 5 GiB is set

Command (m for help): t                        # 开始修改分区类型
Selected partition 1
Hex code (type L to list all codes): fd        # 修改分区类型为Linux raid autodetect
Changed type of partition 'Linux' to 'Linux raid autodetect'

Command (m for help): p                        # 查询分区结果

Disk /dev/sdb: 5368 MB, 5368709120 bytes, 10485760 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x8f2aa0c0

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1            2048    10485759     5241856   fd  Linux raid autodetect

Command (m for help): w                        # 保存分区并退出
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
[root@host2 ~]# partprobe                      # 更新磁盘分区

分区后查询磁盘结果如下

[root@host2 ~]# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   60G  0 disk 
├─sda1   8:1    0    1G  0 part /boot
├─sda2   8:2    0   16G  0 part [SWAP]
└─sda3   8:3    0   43G  0 part /
sdb      8:16   0    5G  0 disk 
└─sdb1   8:17   0    5G  0 part 
sdc      8:32   0    5G  0 disk 
└─sdc1   8:33   0    5G  0 part 
sdd      8:48   0    5G  0 disk 
└─sdd1   8:49   0    5G  0 part 
sde      8:64   0    5G  0 disk 
└─sde1   8:65   0    5G  0 part 
sr0     11:0    1  4.3G  0 rom  

1.2、parted分区

分区示例如下以磁盘/dev/sdg分区为例：

[root@host137 ~]# parted /dev/sdg
GNU Parted 3.1
Using /dev/sdg
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt                    # 创建一个gpt类型的分区表                                  
Warning: The existing disk label on /dev/sdg will be destroyed and all data on this disk will be lost. Do you want to continue?
Yes/No? yes                                                               
(parted) mkpart primary 0% 100%         # “primary” 是名称，可以任意起，0% 100%指定分区的起始和结束位置                                  
(parted) p                              # 查看分区情况                                  
Model: ATA HUS726060ALE610 (scsi)
Disk /dev/sdg: 6001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  6001GB  6001GB               primary

(parted) q                             # 保存分区并退出                                   
Information: You may need to update /etc/fstab.
[root@host137 ~]# partprobe            # 更新磁盘分区

2、创建raid并挂载

-C 指定创建raid名称；-a yes 自动创建设备文件；-l 指定raid级别；-n 磁盘个数；-c 数据块大小， 默认大小为64k，一般不用-c。
cat /proc/mdstat 命令可以看到raid里面的磁盘spare rebuilding同步的进度。
这里以raid5为例(raid5这里用了4块磁盘做演示，一般组建软raid5 3块磁盘就可以)：

[root@host2 ~]# mdadm -C /dev/md0 -a yes -l 5 -n 4 /dev/sd{b,c,d,e}1 -c 256       
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
[root@host2 ~]# mdadm -Ds                  # 查看raid信息
ARRAY /dev/md0 metadata=1.2 spares=1 name=host2:0 UUID=e2ea5580:d5f14d94:9365e4fe:cdfe1b92
[root@host2 ~]# echo 'DEVICE /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1' > /etc/mdadm.conf 
  # DEVICE为实际做RAID的磁盘盘符名
  
[root@host2 ~]# mdadm -Ds >> /etc/mdadm.conf 
# 将raid信息保存到配置文件/etc/mdadm.conf，如果配置文件不完整，
建议参考标准配置文件根据实际情况补全，否则没有配置文件机器重启后新建的分区盘符会变为默认的md127。

[root@host2 ~]# mkdir /data0               # 创建挂载点目录
[root@host2 ~]# mkfs.xfs /dev/md0          # 创建raid磁盘文件系统为xfs
meta-data=/dev/md0               isize=512    agcount=16, agsize=245504 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=3927552, imaxpct=25
         =                       sunit=64     swidth=192 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=64 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
[root@host2 ~]# blkid /dev/md0            # 查看raid磁盘文件系统和UUID
/dev/md0: UUID="43487c20-3b1f-477c-9a32-714d5982603a" TYPE="xfs"
[root@host2 ~]# 
sed -i '$a\UUID="43487c20-3b1f-477c-9a32-714d5982603a" /data0  xfs defaults,_netdev 0 0' /etc/fstab    
# 用/dev/md0的UUID添加永久挂载，_netdev参数是标明/dev/md0为网络设备，
服务器重启的时候系统找到/dev/md0设备就挂载，找不到就跳过挂载直接开机。如果没有_netdev参数，
系统找不到/dev/md0设备就开不了机。
[root@host2 ~]# mount -a                 
# 验证开机自动挂载配置文件/etc/fstab中刚才写入的配置是否正确，然后可以用df -h命令查看/dev/md0是否挂载上

[root@host2 ~]# tail -n 1 /etc/fstab      # 查看永久挂载结果
UUID="43487c20-3b1f-477c-9a32-714d5982603a" /data0                   xfs defaults,_netdev 0 0
[root@host2 ~]# mdadm -D /dev/md0         # -D 查看raid详细信息，可以发现4个都是working状态的

/dev/md0:
           Version : 1.2
     Creation Time : Wed Dec 16 18:02:25 2020
        Raid Level : raid5
        Array Size : 15710208 (14.98 GiB 16.09 GB)
     Used Dev Size : 5236736 (4.99 GiB 5.36 GB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Wed Dec 16 18:20:10 2020
             State : clean 
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 256K

Consistency Policy : resync

              Name : host2:0  (local to host host2)
              UUID : e2ea5580:d5f14d94:9365e4fe:cdfe1b92
            Events : 22

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       4       8       65        3      active sync   /dev/sde1

如果对操作不放心，做完后可以重启下测试raid磁盘状态及挂载是否正常。

3、验证raid

验证命令：

lsblk
blkid
df -h
cat /etc/fstab
mdadm -D /dev/md0
mdadm -D /dev/md1
cat /proc/mdstat
cat /etc/mdadm.conf
mdadm -Ds

4、移除坏盘、添加新磁盘

1、模拟磁盘损坏
[root@host2 ~]# mdadm -f /dev/md0 /dev/sdb1
mdadm: set /dev/sdb1 faulty in /dev/md0
2、查看raid5信息
[root@host2 ~]# mdadm -D /dev/md0 
       0       8       17        -      faulty   /dev/sdb1

3、移除损坏磁盘
[root@host2 ~]# mdadm -r /dev/md0 /dev/sdb1
4、添加新的磁盘
[root@host2 ~]# mdadm -a /dev/md0 /dev/sdg1

5、删除、重建raid

1、删除软raid:
(1)、umount /data0               # 删除之前先要先卸载挂载点
(2)、mdadm --stop /dev/md0       # 停止raid
(2)、mdadm --misc --zero-superblock /dev/sdb1 /dev/sdd1 /dev/sdd1 /dev/sde1  
 # 清空/dev/sdb1磁盘raid信息
(3)、vim /etc/fstab                # 删除或注释/etc/fstab上的挂载信息
(4)、vim /etc/mdadm.conf           # 删除或注释/etc/mdadm.conf的RAID信息
如果做完上面所有的操作后，发现/dev/下还有md0这个设备文件存在，直接rm -f /dev/md0即可。

2、重建启动软raid的命令:
如果已经配置了/etc/mdadm.conf配置文件，则：mdadm -As /dev/md0
如果没有配置/etc/mdadm.conf配置文件，则：mdadm -As /dev/md0 /dev/sd{b,c,d,e}1

三、注意事项

1、如果配置文件/etc/mdadm.conf不完整，建议参考标准配置文件根据实际情况补全，否则没有配置文件机器重启后新建的分区盘符会变为默认的md127。
可通过如下命令将raid信息保存到配置文件/etc/mdadm.conf中，DEVICE为实际做RAID的磁盘盘符名：

[root@host2 ~]# echo 'DEVICE /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1' > /etc/mdadm.conf
[root@host2 ~]# mdadm -Ds >> /etc/mdadm.conf

2、在配置文件/etc/fstab中挂载时，注意添加_netdev参数，这是标明/dev/md0为网络设备，服务器重启的时候系统找到/dev/md0设备就挂载，找不到就跳过挂载，直接开机。如果没有_netdev参数，系统找不到/dev/md0设备就开不了机。

[root@host2 ~]# tail -n 1 /etc/fstab      # 查看永久挂载结果
UUID="43487c20-3b1f-477c-9a32-714d5982603a" /data0                   xfs defaults,_netdev 0 0