2.4 存储管理

Linux针对设备类型对存储设备进行识别，如果是IDE存储设备，在计算机中将被识别为hd，第一个IDE设备会被识别为hda，第二个IDE设备将被识别为hdb，以此类推。如果是SATA、USB或SCSI设备，会被识别为sd，以此类推。

对于分区，Linux使用数字来表示。如第一块SATA硬盘的第一个分区为sda1，第二块SATA硬盘的第二个分区为sdb2。

 

2.4.1 硬盘分区

传统的MBR分区方式是一块硬盘最多可以分四个主分区。即使硬盘还有剩余空间，也无法再继续分区。无法创建大于2TB的分区。

Sda1

Sda2

Sda3

Sda4

剩余空间

 

传统的MBR分区方式中，如果需要更多的分区，则需要使用在扩展分区中创建逻辑分区的方法来实现。此时可以在扩展分区中划分出多个逻辑分区，所有逻辑分区的总和为扩展分区的大小。逻辑分区一定是以编号5开始的。SATA磁盘的第一个逻辑分区一定为sda5。

Sda1

Sda2

Sda3

扩展分区sda4

逻辑分区sda5

逻辑分区sda6

......

 

Command (m for help): m在此输入指令m获得帮助
Command action
   a   toggle a bootable flag切换分区启动标记
   b   edit bsd disklabel编辑bsd磁盘标签
   c   toggle the dos compatibility flag切换dos兼容模式
   d   delete a partition删除分区
   l   list known partition types显示分区类型
   m   print this menu显示帮助菜单
   n   add a new partition新建分区
   o   create a new empty DOS partition table创建新的空分区表
   p   print the partition table显示分区表信息
   q   quit without saving changes不保存退出
   s   create a new empty Sun disklabel创建新的Sun磁盘标签
   t   change a partition's system id修改分区id，可以通过l查看id
   u   change display/entry units修改容量单位，磁柱或扇区
   v   verify the partition table检验分区表
   w   write table to disk and exit保存并退出
   x   extra functionality (experts only)扩展功能

 

 

使用partprobe命令让内核立即读取新的分区表。或partx -a增加了分区，partx -d删除了分区。

[root@instructor ~]# partprobe /dev/sda

GPT分区提供了分区表的冗余以实现分区表的备份与安全。但fdisk命令不支持GPT分区方式，使用Linux的另一个分区工具parted，命令格式为：

parted[选项][磁盘 [命令] ]

 

 

1. 修改分区表类型

[root@instructor ~]# parted /dev/sdb mklabel gpt修改分区表格式
[root@instructor ~]# parted /dev/sdb print查看系统分区表信息

 

2. 创建与删除分区

创建新的分区需要使用parted命令的mkpart指令，语法格式如下：

parted  [磁盘] mkpart  分区类型文件系统类型开始结束

其中，mkpart指令为创建新的分区，分区类型有：primary、logical、extended三种，文件系统类型有：fat16、fat32、ext2、ext3、linux-swap等，开始与结束标记区分开始与结束的位置（默认为MB）。

[root@instructor ~]# parted  /dev/sdb  mkpart  primary  ext3  1  1G

上面的命令将创建一个格式为ext3的主分区，从磁盘的第1MB开始分区，到1GB结束。

[root@instructor ~]# parted  /dev/sdb  rm  3（编号）使用rm指令删除分区

除了基本的创建与删除外，利用parted命令还可以进行分区检查、调整分区大小、还原误删除分区等操作。

 

2.4.2 格式化与挂载文件系统

使用mkfs命令来完成格式化操作，其中Linux系统默认文件系统格式为ext4格式。对于交换分区，我们需要使用单独的mkswap命令实现格式化的工作。 

[root@instructor ~]# mkfs.ext4 /dev/sdb5
[root@instructor ~]# mkswap /dev/sdb3

 

挂载可以使用命令或修改系统文件两种方式。第一种方式使用mount命令实现文件系统的挂载。

mount

描述：挂载文件系统

用法：mount [选项] [ -o[选项] ]  设备|目录

选项：-a挂载/etc/fstab文件中所有未挂载的文件系统

-t指定文件系统类型（包括： adfs,  affs, autofs, cifs, coda, coherent, cramfs,

debugfs, devpts, efs, ext, ext2, ext3, ext4, hfs, hfsplus, hpfs, iso9660, jfs,  minix,  msdos, ncpfs,  nfs,  nfs4,  ntfs,  proc,  qnx4, ramfs, reiserfs, romfs, squashfs, smbfs, sysv, tmpfs, ubifs, udf, ufs, umsdos, usbfs, vfat, xenix, xfs, xiafs），默认ext4。

-o指定挂载属性，具体属性可参考man帮助手册

第二种方式是修改系统文件/etc/fstab，该文件共计六列，第一列为设备名称或设备标签，第二列为挂载点名称（挂载点为用户自己创建的目录），第三列为文件系统类型，第四列为挂载属性，第五列指定该文件系统是否使用dump进行备份（0表示不备份，1表示每天备份），第六列指定该文件系统在开机后使用fsck程序进行磁盘检测的顺序（根文件系统需要指定为1，其他文件系统一般为2，如果为0，则表示不需要进行磁盘检测）。

/dev/sda6 /123 ext4  defaults 0  0

 

2.4.3 LVM逻辑卷概述

LVM（Logical Volume Manager）是基于内核的一种逻辑卷管理器，LVM适合于管理大存储设备，并允许用户动态调整文件系统的大小。LVM的快照功能可以帮助我们快速备份数据。

物理卷（Physical Volume，PV）：物理卷是LVM最底层概念，是LVM的逻辑存储块，物理卷与磁盘分区是逻辑的对应关系。

卷组（Volume Group，VG）：卷组是LVM逻辑概念上的磁盘设备，通过将单个或多个物理卷组合后生成卷组。

物理长度（Physical Extent，PE）：物理长度是将物理卷组合为卷组后，所划分的最小存储单位，即逻辑意义上磁盘的最小存储单元。LVM默认PE大小为4MB。

逻辑卷（Logical Volume，LV）：逻辑卷就是LVM逻辑意义上的分区，我们可以指定从卷组中提取多少容量来创建逻辑卷，最后对逻辑卷格式化并挂载使用。

将分区转换为物理卷的命令是pvcreate，将物理卷组合为卷组的命令是vgcreate，从卷组中提取容量创建逻辑卷的命令是lvcreate。创建完成后可以分别使用pvdisplay、vgdisplay、lvdisplay查看效果。

1. pvcreate

描述：使用LVM对磁盘或分区进行初始化

用法：pvcreate [选项] 物理卷 [物理卷...]

2. vgcreate-s指定PE大小

描述：创建卷组

用法：vgcreate [选项] 卷组名称 物理设备路径 [物理设备路径...]

3. lvcreate

描述：在已存在的卷组中创建逻辑卷

用法：lvcreate [选项] 卷组名称或路径 [物理卷路径]

选项：-l指定使用多少个卷组中的PE创建逻辑卷，PE容量在创建卷组时已经指定

-L直接指定逻辑卷的容量大小，单位可以是b（B）、s（S）、k（K）、m（M）、g（G）、t（T）、p（P）、e（E）

-n指定逻辑卷名称

[root@instructor ~]# pvcreate /dev/sdb{5,6,7}
[root@instructor ~]# vgcreate -s 8M ceshi_vg1 /dev/sdb{5,6}
[root@instructor ~]# lvcreate -l 40 -n ceshi_lv1 ceshi_vg1 /dev/sdb6

 

指定使用/dev/sdb6这个物理卷的存储空间

 

附：修改分区标签为LVM，即8e

 

2.4.5 修改LVM分区容量

使用lvextend命令调整逻辑卷大小。但lvextend仅调整逻辑卷大小，使用该命令调整完逻辑卷大小后，还需要使用resize2fs命令更新文件系统的大小。

[root@instructor ~]# lvextend -L +100M /dev/mapper/ceshi_vg1-ceshi_lv1
[root@instructor ~]# resize2fs /dev/mapper/ceshi_vg1-ceshi_lv1

 

LVM的卷组也是可以动态调整容量大小的，这是需要使用fdisk创建一个新的分区，并使用pvcreate命令转换为物理卷格式，接着通过vgextend将新的物理卷追加至现有的卷组空间中，最后使用lvextend调整逻辑卷的容量。

[root@instructor ~]# vgextend ceshi_vg1 /dev/sdb7

 

2.4.6 删除LVM分区

使用LVM命令轻松地删除之前创建的物理卷、卷组、逻辑卷。删除的顺序应该与创建时的顺序相反，也就是卸载文件系统、删除逻辑卷、删除卷组、删除物理卷。

[root@instructor ~]# lvremove /dev/mapper/ceshi_vg1-ceshi_lv1
[root@instructor ~]# vgremove ceshi_vg1
[root@instructor ~]# pvremove /dev/sdb{5,6,7}

 

 

2.4.7 RAID磁盘阵列概述

RAID（Redundant Array of Independent Disk）虚拟存储系统。RAID即独立冗余磁盘阵列，其思想是将多块独立的磁盘按不同的方式组合为一个逻辑磁盘，从而提高存储容量，提升存储性能或提供数据备份功能。

RAID分为软件RAID和硬件RAID两类。硬件RAID通常需要有RAID卡，RAID卡本身会有独立的控制部件和内存，所以不会占有系统资源，效率高、性能强。

 

2.4.8 RAID级别

1. RAID 0（不含校验与冗余的条带存储）

多块磁盘组合为RAID 0 后，数据将被分割并分别存储在每块硬盘中，所以能最大地提升存储性能与存储空间，但无法容错，RAID 0 至少需要两块磁盘。

如果一个文件要写入RAID 0 ，则该文件会被分割为多个部分，DATA1与DATA2被分别同步存入磁盘1和磁盘2，其他部分依次类推。读取该文件时，将同时从磁盘1和磁盘2中读取数据。

缺点：因为没有校验与备份，两块硬盘中如果有一块磁盘损坏，即磁盘中的任何一个数据损坏将导致整个文件无法读取。

 

2. RAID 1 （不含校验的镜像存储）

多块磁盘组合为RAID 1 后，数据将被同时复制到每块硬盘中，制作这种磁盘阵列至少需要两块硬盘，该级别的RAID只要有一块硬盘可用，即可正常工作，该级别的阵列安全性是最好的，磁盘利用率是最低的。

如果一个 文件要写入RAID 1 ，则该文件会写入磁盘1，同时以复制备份的形式写入磁盘2，DATA1与DATA2被同时存入磁盘1和磁盘2，其他部分依此类推。RAID 1 写入数据的效率会降低，因为相同数据需要同时写入两块磁盘，但RAID 1 读取数据的效率会提升，因为数据可以同时从两块硬盘读取数据。

缺点：RAID 1 写入效率低下。此外，磁盘的利用率极低，为总空间的一般。

 

3. RAID 2 （位级别的校验式条带存储）

多块磁盘组合为RAID 2 后，数据将以位（bit）为单位同步式分别存储在不同的硬盘上，并采用海明码（海明码是一种具有纠错功能的校验码）对数据进行校验与恢复。

如果一个文件要写入RAID 2 ，则该文件会被分成数据位分别同步写入不同的磁盘中，DATA1和DATA2进行海明码运算后再写入校验盘中，其他部分以此类推。拥有校验位的RAID 2 允许三块磁盘中任何一块磁盘损坏，并能够对未损坏的两块磁盘进行运算后还原已损坏磁盘上额数据，从而实现数据恢复的功能。RAID 2 对大量数据的读写具有很高的性能，但对少量数据的读写时性能反而不好，该磁盘阵列至少需要三块硬盘。

 

4. RAID 3 （字节级别的校验式条带存储）

该级别的磁盘阵列可以参考RAID 2 的读写原理，仅数据分割的单位为字节。

 

5. RAID 4 （数据块级别的校验式条带存储）

该级别的磁盘阵列与RAID 2 类似，仅数据分割单位不同。block

 

6. RAID 5 （数据块级别的分布式校验条带存储）

多块磁盘组合为RAID 5 后，数据将以块（block）为单位同步式分别存储在不同的硬盘上，并对数据进行海明码运算，与其他级别不同的是，该级别的海明码会被写入不同的磁盘。

 

7. RAID 10 （镜像与条带存储）

RAID 10 不是独创额一种RAID级别，它由RAID 0 和RAID 1 结合而成，RAID 10 继承了RAID 0 的快速与高效，同时也继承了RAID 1 的数据安全，RAID 10 至少需要四块硬盘。RAID 10 通常有两种结构，一种是RAID 0+1 结构，一种是RAID 1+0 结构。如果是RAID 1+0 ，则先使用四块硬盘组合成两个独立的RAID 1 ，然后将两个RAID 1 再组合为一个RAID 0。

当数据写入时，首先会以条带的方式同步写入由两个RAID 1 组合而成的RAID 0 中，随后，当数据被写入由具体磁盘组成的RAID 1 时，又可以实现双磁盘镜像功能。

缺点：RAID 10 继承了RAID 0 和RAID 1 的优点，但同时也继承了一些缺点，RAID 10 的磁盘利用率很低，只有50%。

2.4.9 创建与管理RAID实例

1. 创建硬盘分区

Hex code (type L to list codes): fd格式fd为RAID格式

 

2. 创建RAID（本例将分别创建RAID 0 与RAID 5）

Linux中创建磁盘阵列可以使用mdadm命令，在Centos 6.3中，目前支持的RAID级别有RAID 0 、RAID 1、RAID 4、RAID 5、RAID 6、RAID 10。

 

mdadm

描述：管理linux软件RAID设备

用法：mdadm [模式] 选项 <RAID设备>

选项：-C创建软件RAID（create）

-l指定RAID级别（level）

-n指定磁盘个数

-x指定备用设备个数

[root@instructor ~]# mdadm -C /dev/md0 -l 0 -n 4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
[root@instructor ~]# mdadm -C /dev/md5 -l 5 -n 3 -x 1 /dev/sd{b,c,d,e}2
[root@instructor ~]# mdadm --detail /dev/md0查看md0信息

 

 

3. 格式化与挂载

[root@instructor ~]# mkfs.ext4 /dev/md0
[root@instructor ~]# mkfs.ext4 /dev/md5

 

将磁盘阵列设备设置为开机自动挂载项，Centos系统开机会读取磁盘阵列的配置文件/etc/mdadm.conf以启动RAID设备。下面两条命令可以帮助我们快速创建这样的配置文件，DEVICE行代表填写所有磁盘阵列的设备成员名称，ARRAY行描述磁盘阵列具体的基本信息，包括名称、级别、UUID等信息。

[root@instructor ~]# echo "DEVICE /dev/sdb1 /dev/sdb2 /dev/sdc1 /dev/sdc2 /dev/sdd1 /dev/sdd2 /dev/sde1 /dev/sde2" > /etc/mdadm.conf
[root@instructor ~]# mdadm -Evs >> /dev/mdadm.conf
[root@instructor ~]# cat /dev/mdadm.conf 
ARRAY /dev/md/5 level=raid5 metadata=1.2 num-devices=3 UUID=762e0a76:527fd9d4:2e6ff87d:297dfa17 name=instructor.example.com:5
   spares=1   devices=/dev/sdb2,/dev/sdc2,/dev/sdd2,/dev/sde2
ARRAY /dev/md/0 level=raid0 metadata=1.2 num-devices=4 UUID=16eaae13:deb2233a:cf5b1611:b1971321 name=instructor.example.com:0
   devices=/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sde1
[root@instructor ~]# echo "/dev/md0 /raid0 ext4 defaults 0 0" >> /etc/fstab 
[root@instructor ~]# echo "/dev/md5 /raid5 ext4 defaults 0 0" >> /etc/fstab

 

2.4.10 RAID性能测试

[root@instructor ~]# time dd if=/dev/zero of=/raid5/1.txt bs=1M count=1500
[root@instructor ~]# time dd if=/dev/zero of=/raid0/1.txt bs=1M count=1500

设备或分区hdparm -t /dev/sd

 

 

 

2.4.11 RAID故障模拟

[root@instructor ~]# mdadm /dev/md5 -f /dev/sdb2
mdadm: set /dev/sdb2 faulty in /dev/md5

注释：使用-f选项（failed）模拟磁盘sdb2的损坏

由于上面做性能测试时已经往RAID 5 中写入了1.5GB的数据，所以使用命令模拟磁盘损坏后，快速查看RAID详细信息可以看出正在使用/dev/sde2重建数据（还原数据），而原来的/dev/sdb2成了损坏的空闲设备。