2.4 存储管理
Linux针对设备类型对存储设备进行识别,如果是IDE存储设备,在计算机中将被识别为hd,第一个IDE设备会被识别为hda,第二个IDE设备将被识别为hdb,以此类推。如果是SATA、USB或SCSI设备,会被识别为sd,以此类推。
对于分区,Linux使用数字来表示。如第一块SATA硬盘的第一个分区为sda1,第二块SATA硬盘的第二个分区为sdb2。
2.4.1 硬盘分区
传统的MBR分区方式是一块硬盘最多可以分四个主分区。即使硬盘还有剩余空间,也无法再继续分区。无法创建大于2TB的分区。
Sda1 | Sda2 | Sda3 | Sda4 | 剩余空间 |
传统的MBR分区方式中,如果需要更多的分区,则需要使用在扩展分区中创建逻辑分区的方法来实现。此时可以在扩展分区中划分出多个逻辑分区,所有逻辑分区的总和为扩展分区的大小。逻辑分区一定是以编号5开始的。SATA磁盘的第一个逻辑分区一定为sda5。
Sda1 | Sda2 | Sda3 | 扩展分区sda4 | ||
逻辑分区sda5 | 逻辑分区sda6 | ...... |
Command (m for help): m在此输入指令m获得帮助 Command action a toggle a bootable flag切换分区启动标记 b edit bsd disklabel编辑bsd磁盘标签 c toggle the dos compatibility flag切换dos兼容模式 d delete a partition删除分区 l list known partition types显示分区类型 m print this menu显示帮助菜单 n add a new partition新建分区 o create a new empty DOS partition table创建新的空分区表 p print the partition table显示分区表信息 q quit without saving changes不保存退出 s create a new empty Sun disklabel创建新的Sun磁盘标签 t change a partition's system id修改分区id,可以通过l查看id u change display/entry units修改容量单位,磁柱或扇区 v verify the partition table检验分区表 w write table to disk and exit保存并退出 x extra functionality (experts only)扩展功能
使用partprobe命令让内核立即读取新的分区表。或partx -a增加了分区,partx -d删除了分区。
[root@instructor ~]# partprobe /dev/sda
GPT分区提供了分区表的冗余以实现分区表的备份与安全。但fdisk命令不支持GPT分区方式,使用Linux的另一个分区工具parted,命令格式为:
parted[选项][磁盘 [命令] ]
1. 修改分区表类型
[root@instructor ~]# parted /dev/sdb mklabel gpt修改分区表格式 [root@instructor ~]# parted /dev/sdb print查看系统分区表信息
2. 创建与删除分区
创建新的分区需要使用parted命令的mkpart指令,语法格式如下:
parted [磁盘] mkpart 分区类型文件系统类型开始结束
其中,mkpart指令为创建新的分区,分区类型有:primary、logical、extended三种,文件系统类型有:fat16、fat32、ext2、ext3、linux-swap等,开始与结束标记区分开始与结束的位置(默认为MB)。
[root@instructor ~]# parted /dev/sdb mkpart primary ext3 1 1G
上面的命令将创建一个格式为ext3的主分区,从磁盘的第1MB开始分区,到1GB结束。
[root@instructor ~]# parted /dev/sdb rm 3(编号)使用rm指令删除分区
除了基本的创建与删除外,利用parted命令还可以进行分区检查、调整分区大小、还原误删除分区等操作。
2.4.2 格式化与挂载文件系统
使用mkfs命令来完成格式化操作,其中Linux系统默认文件系统格式为ext4格式。对于交换分区,我们需要使用单独的mkswap命令实现格式化的工作。
[root@instructor ~]# mkfs.ext4 /dev/sdb5 [root@instructor ~]# mkswap /dev/sdb3
挂载可以使用命令或修改系统文件两种方式。第一种方式使用mount命令实现文件系统的挂载。
mount
描述:挂载文件系统
用法:mount [选项] [ -o[选项] ] 设备|目录
选项:-a挂载/etc/fstab文件中所有未挂载的文件系统
-t指定文件系统类型(包括: adfs, affs, autofs, cifs, coda, coherent, cramfs,
debugfs, devpts, efs, ext, ext2, ext3, ext4, hfs, hfsplus, hpfs, iso9660, jfs, minix, msdos, ncpfs, nfs, nfs4, ntfs, proc, qnx4, ramfs, reiserfs, romfs, squashfs, smbfs, sysv, tmpfs, ubifs, udf, ufs, umsdos, usbfs, vfat, xenix, xfs, xiafs),默认ext4。
-o指定挂载属性,具体属性可参考man帮助手册
第二种方式是修改系统文件/etc/fstab,该文件共计六列,第一列为设备名称或设备标签,第二列为挂载点名称(挂载点为用户自己创建的目录),第三列为文件系统类型,第四列为挂载属性,第五列指定该文件系统是否使用dump进行备份(0表示不备份,1表示每天备份),第六列指定该文件系统在开机后使用fsck程序进行磁盘检测的顺序(根文件系统需要指定为1,其他文件系统一般为2,如果为0,则表示不需要进行磁盘检测)。
/dev/sda6 /123 ext4 defaults 0 0
2.4.3 LVM逻辑卷概述
LVM(Logical Volume Manager)是基于内核的一种逻辑卷管理器,LVM适合于管理大存储设备,并允许用户动态调整文件系统的大小。LVM的快照功能可以帮助我们快速备份数据。
物理卷(Physical Volume,PV):物理卷是LVM最底层概念,是LVM的逻辑存储块,物理卷与磁盘分区是逻辑的对应关系。
卷组(Volume Group,VG):卷组是LVM逻辑概念上的磁盘设备,通过将单个或多个物理卷组合后生成卷组。
物理长度(Physical Extent,PE):物理长度是将物理卷组合为卷组后,所划分的最小存储单位,即逻辑意义上磁盘的最小存储单元。LVM默认PE大小为4MB。
逻辑卷(Logical Volume,LV):逻辑卷就是LVM逻辑意义上的分区,我们可以指定从卷组中提取多少容量来创建逻辑卷,最后对逻辑卷格式化并挂载使用。
将分区转换为物理卷的命令是pvcreate,将物理卷组合为卷组的命令是vgcreate,从卷组中提取容量创建逻辑卷的命令是lvcreate。创建完成后可以分别使用pvdisplay、vgdisplay、lvdisplay查看效果。
1. pvcreate
描述:使用LVM对磁盘或分区进行初始化
用法:pvcreate [选项] 物理卷 [物理卷...]
2. vgcreate-s指定PE大小
描述:创建卷组
用法:vgcreate [选项] 卷组名称 物理设备路径 [物理设备路径...]
3. lvcreate
描述:在已存在的卷组中创建逻辑卷
用法:lvcreate [选项] 卷组名称或路径 [物理卷路径]
选项:-l指定使用多少个卷组中的PE创建逻辑卷,PE容量在创建卷组时已经指定
-L直接指定逻辑卷的容量大小,单位可以是b(B)、s(S)、k(K)、m(M)、g(G)、t(T)、p(P)、e(E)
-n指定逻辑卷名称
[root@instructor ~]# pvcreate /dev/sdb{5,6,7} [root@instructor ~]# vgcreate -s 8M ceshi_vg1 /dev/sdb{5,6} [root@instructor ~]# lvcreate -l 40 -n ceshi_lv1 ceshi_vg1 /dev/sdb6
指定使用/dev/sdb6这个物理卷的存储空间
附:修改分区标签为LVM,即8e
2.4.5 修改LVM分区容量
使用lvextend命令调整逻辑卷大小。但lvextend仅调整逻辑卷大小,使用该命令调整完逻辑卷大小后,还需要使用resize2fs命令更新文件系统的大小。
[root@instructor ~]# lvextend -L +100M /dev/mapper/ceshi_vg1-ceshi_lv1 [root@instructor ~]# resize2fs /dev/mapper/ceshi_vg1-ceshi_lv1
LVM的卷组也是可以动态调整容量大小的,这是需要使用fdisk创建一个新的分区,并使用pvcreate命令转换为物理卷格式,接着通过vgextend将新的物理卷追加至现有的卷组空间中,最后使用lvextend调整逻辑卷的容量。
[root@instructor ~]# vgextend ceshi_vg1 /dev/sdb7
2.4.6 删除LVM分区
使用LVM命令轻松地删除之前创建的物理卷、卷组、逻辑卷。删除的顺序应该与创建时的顺序相反,也就是卸载文件系统、删除逻辑卷、删除卷组、删除物理卷。
[root@instructor ~]# lvremove /dev/mapper/ceshi_vg1-ceshi_lv1 [root@instructor ~]# vgremove ceshi_vg1 [root@instructor ~]# pvremove /dev/sdb{5,6,7}
2.4.7 RAID磁盘阵列概述
RAID(Redundant Array of Independent Disk)虚拟存储系统。RAID即独立冗余磁盘阵列,其思想是将多块独立的磁盘按不同的方式组合为一个逻辑磁盘,从而提高存储容量,提升存储性能或提供数据备份功能。
RAID分为软件RAID和硬件RAID两类。硬件RAID通常需要有RAID卡,RAID卡本身会有独立的控制部件和内存,所以不会占有系统资源,效率高、性能强。
2.4.8 RAID级别
1. RAID 0(不含校验与冗余的条带存储)
多块磁盘组合为RAID 0 后,数据将被分割并分别存储在每块硬盘中,所以能最大地提升存储性能与存储空间,但无法容错,RAID 0 至少需要两块磁盘。
如果一个文件要写入RAID 0 ,则该文件会被分割为多个部分,DATA1与DATA2被分别同步存入磁盘1和磁盘2,其他部分依次类推。读取该文件时,将同时从磁盘1和磁盘2中读取数据。
缺点:因为没有校验与备份,两块硬盘中如果有一块磁盘损坏,即磁盘中的任何一个数据损坏将导致整个文件无法读取。
2. RAID 1 (不含校验的镜像存储)
多块磁盘组合为RAID 1 后,数据将被同时复制到每块硬盘中,制作这种磁盘阵列至少需要两块硬盘,该级别的RAID只要有一块硬盘可用,即可正常工作,该级别的阵列安全性是最好的,磁盘利用率是最低的。
如果一个 文件要写入RAID 1 ,则该文件会写入磁盘1,同时以复制备份的形式写入磁盘2,DATA1与DATA2被同时存入磁盘1和磁盘2,其他部分依此类推。RAID 1 写入数据的效率会降低,因为相同数据需要同时写入两块磁盘,但RAID 1 读取数据的效率会提升,因为数据可以同时从两块硬盘读取数据。
缺点:RAID 1 写入效率低下。此外,磁盘的利用率极低,为总空间的一般。
3. RAID 2 (位级别的校验式条带存储)
多块磁盘组合为RAID 2 后,数据将以位(bit)为单位同步式分别存储在不同的硬盘上,并采用海明码(海明码是一种具有纠错功能的校验码)对数据进行校验与恢复。
如果一个文件要写入RAID 2 ,则该文件会被分成数据位分别同步写入不同的磁盘中,DATA1和DATA2进行海明码运算后再写入校验盘中,其他部分以此类推。拥有校验位的RAID 2 允许三块磁盘中任何一块磁盘损坏,并能够对未损坏的两块磁盘进行运算后还原已损坏磁盘上额数据,从而实现数据恢复的功能。RAID 2 对大量数据的读写具有很高的性能,但对少量数据的读写时性能反而不好,该磁盘阵列至少需要三块硬盘。
4. RAID 3 (字节级别的校验式条带存储)
该级别的磁盘阵列可以参考RAID 2 的读写原理,仅数据分割的单位为字节。
5. RAID 4 (数据块级别的校验式条带存储)
该级别的磁盘阵列与RAID 2 类似,仅数据分割单位不同。block
6. RAID 5 (数据块级别的分布式校验条带存储)
多块磁盘组合为RAID 5 后,数据将以块(block)为单位同步式分别存储在不同的硬盘上,并对数据进行海明码运算,与其他级别不同的是,该级别的海明码会被写入不同的磁盘。
7. RAID 10 (镜像与条带存储)
RAID 10 不是独创额一种RAID级别,它由RAID 0 和RAID 1 结合而成,RAID 10 继承了RAID 0 的快速与高效,同时也继承了RAID 1 的数据安全,RAID 10 至少需要四块硬盘。RAID 10 通常有两种结构,一种是RAID 0+1 结构,一种是RAID 1+0 结构。如果是RAID 1+0 ,则先使用四块硬盘组合成两个独立的RAID 1 ,然后将两个RAID 1 再组合为一个RAID 0。
当数据写入时,首先会以条带的方式同步写入由两个RAID 1 组合而成的RAID 0 中,随后,当数据被写入由具体磁盘组成的RAID 1 时,又可以实现双磁盘镜像功能。
缺点:RAID 10 继承了RAID 0 和RAID 1 的优点,但同时也继承了一些缺点,RAID 10 的磁盘利用率很低,只有50%。
2.4.9 创建与管理RAID实例
1. 创建硬盘分区
Hex code (type L to list codes): fd格式fd为RAID格式
2. 创建RAID(本例将分别创建RAID 0 与RAID 5)
Linux中创建磁盘阵列可以使用mdadm命令,在Centos 6.3中,目前支持的RAID级别有RAID 0 、RAID 1、RAID 4、RAID 5、RAID 6、RAID 10。
mdadm
描述:管理linux软件RAID设备
用法:mdadm [模式] 选项 <RAID设备>
选项:-C创建软件RAID(create)
-l指定RAID级别(level)
-n指定磁盘个数
-x指定备用设备个数
[root@instructor ~]# mdadm -C /dev/md0 -l 0 -n 4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 [root@instructor ~]# mdadm -C /dev/md5 -l 5 -n 3 -x 1 /dev/sd{b,c,d,e}2 [root@instructor ~]# mdadm --detail /dev/md0查看md0信息
3. 格式化与挂载
[root@instructor ~]# mkfs.ext4 /dev/md0 [root@instructor ~]# mkfs.ext4 /dev/md5
将磁盘阵列设备设置为开机自动挂载项,Centos系统开机会读取磁盘阵列的配置文件/etc/mdadm.conf以启动RAID设备。下面两条命令可以帮助我们快速创建这样的配置文件,DEVICE行代表填写所有磁盘阵列的设备成员名称,ARRAY行描述磁盘阵列具体的基本信息,包括名称、级别、UUID等信息。
[root@instructor ~]# echo "DEVICE /dev/sdb1 /dev/sdb2 /dev/sdc1 /dev/sdc2 /dev/sdd1 /dev/sdd2 /dev/sde1 /dev/sde2" > /etc/mdadm.conf [root@instructor ~]# mdadm -Evs >> /dev/mdadm.conf [root@instructor ~]# cat /dev/mdadm.conf ARRAY /dev/md/5 level=raid5 metadata=1.2 num-devices=3 UUID=762e0a76:527fd9d4:2e6ff87d:297dfa17 name=instructor.example.com:5 spares=1 devices=/dev/sdb2,/dev/sdc2,/dev/sdd2,/dev/sde2 ARRAY /dev/md/0 level=raid0 metadata=1.2 num-devices=4 UUID=16eaae13:deb2233a:cf5b1611:b1971321 name=instructor.example.com:0 devices=/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sde1 [root@instructor ~]# echo "/dev/md0 /raid0 ext4 defaults 0 0" >> /etc/fstab [root@instructor ~]# echo "/dev/md5 /raid5 ext4 defaults 0 0" >> /etc/fstab
2.4.10 RAID性能测试
[root@instructor ~]# time dd if=/dev/zero of=/raid5/1.txt bs=1M count=1500 [root@instructor ~]# time dd if=/dev/zero of=/raid0/1.txt bs=1M count=1500
设备或分区hdparm -t /dev/sd
2.4.11 RAID故障模拟
[root@instructor ~]# mdadm /dev/md5 -f /dev/sdb2 mdadm: set /dev/sdb2 faulty in /dev/md5
注释:使用-f选项(failed)模拟磁盘sdb2的损坏
由于上面做性能测试时已经往RAID 5 中写入了1.5GB的数据,所以使用命令模拟磁盘损坏后,快速查看RAID详细信息可以看出正在使用/dev/sde2重建数据(还原数据),而原来的/dev/sdb2成了损坏的空闲设备。
转载于:https://blog.51cto.com/714921771/1542195