Linux 高级存储管理

############1.逻辑卷##################

物理卷（PV, Physical Volume）
物理卷就是指磁盘,磁盘分区或从逻辑上和磁盘分区具有同样功能的设备(如RAID)，是LVM的基本存储逻辑块，但和基本的物理存储介质（如分区、磁盘等）比较，却包含有和LVM相关的管理参数。当前LVM允许你在每个物理卷上保存这个物理卷的0至2份元数据拷贝.默认为1,保存在设备的开始处.为2时,在设备结束处保存第二份备份.

PE（physical extent）
每一个物理卷被划分为称为PE(Physical Extents)的基本单元，具有唯一编号的PE是能被LVM寻址的最小单元。PE的大小是可设置的，默认为4MB。

卷组（VG, Volume Group）
LVM卷组类似于非LVM系统中的物理硬盘，其由物理卷组成。能在卷组上创建一个或多个“LVM分区”（逻辑卷），LVM卷组由一个或多个物理卷组成。

逻辑卷（LV, Logical Volume）
LVM的逻辑卷类似于非LVM系统中的硬盘分区，在逻辑卷之上能建立文件系统(比如/home或/usr等)。
pv    ##物理卷    被处理过的物理分区
pe    ##物理扩展    设定存储最小单元
vg    ##物理卷组    捆绑pv到一个组中
lv    ##逻辑卷    分配最终的使用设备

监控建立过程
watch -n 1 "pvs;echo ====;vgs;echo =====;lvs;echo =====;df -h /data"

lvm设备建立
建立物理分区并设定分区type为lvm
pvcreate  /dev/vdb1                ##创建pv
vgcreate  westosvg -s 2M /dev/vdb1       ##创建vg -s设定pe大小位2M
lvcreate  -L 300M -n westoslv westosvg        ##创建lvm -L指定大小 -n指定名称
mkfs.xfs  /dev/mapper/westosvg-westoslv        ##格式化
mount /dev/westosvg/westoslv  /data/    ##挂载

监控画面 ：watch -n 1 "pvs;echo ====;vgs;echo =====;lvs;echo =====;df -h /data"

lvm拉伸
1.当vg中的容量充足
lvextend  -L 400M /dev/mapper/westosvg-westoslv     ##拉伸设备
xfs_growfs  /data/                ##拉伸文件系统，在rhel7中可以用设备或挂载点
                                            ##在rhel8中只能用挂载点
resize2fs  /dev/mapper/westosvg-westoslv        ##当文件系统为ext时使用此命令

 

2.当vg中的容量不足
划分分区
pvcreate /dev/vdb2
vgextend  westosvg /dev/vdb2
lvextend  -L 2500M /dev/westosvg/westoslv
xfs_growfs  /data/

lvm缩减
xfs文件系统不支持缩减ext文件系统可以
mkfs.ext4    /dev/westosvg/westoslv

ext4文件系统拉伸：
resize2fs  /dev/mapper/westosvg-westoslv

缩减步骤：
umount /data
e2fsck -f /dev/westosvg/westoslv                         
resize2fs  /dev/westosvg/westoslv 400M  压缩文件系统
lvreduce  -L 400M /dev/westosvg/westoslv    压缩设备
mount /dev/westosvg/westoslv  /weixindata/

pvmove /dev/vdb1 /dev/vdb2    将1中的数据传输到2中

vgreduce  westosvg /dev/vdb1
pvremove  /dev/vdb1

lvm删除：
umount /dev/mapper/westosvg-westoslv
lvremove  /dev/westosvg/westoslv
vgremove  westosvg
pvremove /dev/vdb2

 

####2.vdo####

DO（Virtual Data Optimize虚拟数据优化）:通过压缩或删除存储设备上的数据来优化存储空间 VDO层放置在现有块存储设备例如RAID设备或本地磁盘的顶部。这些块设备也可以是加密设备。存储层（如LVM logic卷和文件系统放置在VDO层的顶部。 VDO按以下顺序将三个阶段应用于数据，减少存储设备上的占用空间 零区块的排除： 在初始化阶段，整块为0的会被元数据记录下来，这个可以用水杯里面的水和沙子混合的例子来解释，使用滤纸（零块排除），把沙子（非零空间）给过滤出来，然后就是下一个阶段的处理 重复数据删除： 在第二阶段，输入的数据会判断是不是冗余数据（在写入之前就判断），这个部分的数据通过UDS内核模块来判断（U niversal D eduplication S ervice），被判断为重复数据的部分不会被写入，然后对元数据进行更新，直接指向原始已经存储的数据块即可 压缩： 一旦消零和重删完成，LZ4压缩会对每个单独的数据块进行处理，然后压缩好的数据块会以固定大小4KB的数据块存储在介质上，由于一个物理块可以包含很多的压缩块，这个也可以加速读取的性能。

 

虚拟数据优化器
kvdo    ##压缩数据
uds    ##优化重复数据

a

#vdo建立#
dnf install vdo -y
vdo create --name westos_vdo --device /dev/vdb

vdo status --name westos_vdo | less
Deduplication:    enabled        ##vdo检测并删除重复数据的功能时开启的
Compression:    enabled        ##vdo数据压缩功能开启

#使用vdo设备#
mkfs.xfs  -K /dev/mapper/westos_vdo1
mkdir /westos_vdo
mount /dev/mapper/westos_vdo1 /westos_vdo

#测试vdo性能#
vdostats --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/westos_vdo1     20.0G      4.0G     16.0G  20%           98%

cp /westos/images/install.img  /westos_vdo/
vdostats --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/westos_vdo1     20.0G      4.4G     15.6G  22%            2%

cp /westos/images/install.img /westos_vdo/install.img.1
vdostats --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/westos_vdo1     20.0G      4.5G     15.5G  22%           49%

重复复制两次同样的文件，查看文件的时候存储两份，但是文件大小仅占了一个文件的大小，两个文件都存在，并不是以硬链接的形式存在。

所以说明了vdo 的压缩，优化重复数据的功能。

#vdo设备的删除#
vdo remove --name=westos_vdo