Linux高级存储管理（LVM逻辑卷管理；vdo虚拟数据优化器）

最新推荐文章于 2024-04-17 06:57:25 发布
最新推荐文章于 2024-04-17 06:57:25 发布
阅读量1.6k 收藏 12
点赞数 2
分类专栏： RH135 文章标签： linux vdo lvm vg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ninimino/article/details/107887163
版权

Linux高级存储管理（LVM逻辑卷管理；vdo虚拟数据优化器）

1.逻辑卷

设备不变的情况下，容量增加？（从组里面取）
单独的物理硬盘§被处理后变成另外一种形态(pv)，可以用软件管理将其放在一起，变成一个组(vg)，从组里划分出来一个设备，(lv)设备被挂载到一个目录上，当设备容量不够时，从组里面取，当组里面容量用完时，再取物理设备，做成可以捆绑的形态，再放进组里——》 逻辑卷lvm
物理分区被处理后变成物理卷，物理卷捆绑到一起变成物理卷组，物理卷组划分出来可以使用的逻辑卷

1.1 什么是逻辑卷（百度百科)

LVM:(Logical Volume Manager) ，逻辑卷管理器。
逻辑卷管理器解决的主要问题如下：
解决分区空间不够用或者分区空间绰绰有余的情况。
基本磁盘分区的边界是不能随意扩展的。分区大小是在刚刚划分分区的时候就决定了。
逻辑卷的工作原理：逻辑卷（lv）是将几个磁盘分区或者块设备(pv，pv的id必须是8e的，pv可以位于不同的磁盘分区里，pv大小可以不一)组织起来形成一个大的扩展分区（vg,卷组，一个vg至少要包含一个pv。），该扩展分区不能直接用，需要将其划分成逻辑卷（lv）才能使用，lv可以格式化成不同的文件系统，挂载后直接使用。 lv的扩展和缩减是不会影响原有数据的，但逻辑卷缩减的风险大于逻辑卷扩展的风险。逻辑卷可以支持快照功能
LVM将存储虚拟化,使用逻辑卷,你不会受限于物理磁盘的大小,另外,与硬件相关的存储设置被其隐藏,你可以不用停止应用或卸载文件系统来调整卷大小或数据迁移.这样可以减少操作成本.

在这里插入图片描述

1.2 pv,vg,lv

pv物理卷被处理过的物理分区
pe物理扩展 设定存储最小单元
vg物理卷组 捆绑 pv 到一个组中
lv逻辑卷分配最终的使用设备

1.3lvm的建立

监控建立过程
watch -n 1 “pvs;echo ====;vgs;echo =====;lvs;echo =====;df -h /weixindata”
lvm 设备建立
建立物理分区并设定分区 type 为 lvm


[root@localhost Desktop]# fdisk /dev/vdb      ###进入/dev/vdb
command (m for help): n  ###建立分区
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): 

Using default response p.
Partition number (1-4, default 1): 
First sector (2048-20971519, default 2048): 
Last sector, +sectors or +size{K,M,G,T,P} (2048-20971519, default 20971519): +1G   ###1G大小

Created a new partition 1 of type 'Linux' and of size 1 GiB.

Command (m for help): t     ##更改类型
Selected partition 1
Hex code (type L to list all codes): 8e     #####lvm类型
Changed type of partition 'Linux' to 'Linux LVM'.

Command (m for help): p      ##列出
Disk /dev/vdb: 10 GiB, 10737418240 bytes, 20971520 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x56a631b5

Device     Boot Start     End Sectors Size Id Type
/dev/vdb1        2048 2099199 2097152   1G 8e Linux LVM        ##lvm类型的分区已被建立

Command (m for help): wq    ##退出保存
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

1pvcreate /dev/vdb1 创建 pv

在这里插入图片描述

2vgcreate westosvg0 /dev/vdb1**创建 vg **
在这里插入图片描述

3lvcreate -L 30M -n westoslv0 westosvg0 ##创建 lvm -L 指定大小 -n 指定名称
在这里插入图片描述

5mkfs.xfs /dev/mapper/westosvg-westoslv 格式化
6mount /dev/westosvg/westoslv /weixindata/ 挂载

在这里插入图片描述
在这里插入图片描述

1.4lvm 拉伸

接着1.3的挂载

1.4.1.当 vg 中的容量充足

1lvextend -L 100M /dev/mapper/westosvg-westoslv 拉伸设备
2xfs_growfs /weixindata/ 拉伸文件系统，在 rhel7 中可以用设备或挂载点
在 rhel8 中只能用挂载点

lvm
在这里插入图片描述

在这里插入图片描述

resize2fs /dev/mapper/westosvg-westoslv 当文件系统为 ext 时使用此命令

1.4.2.当 vg 中的容量不足

在这里插入图片描述

划分分区

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1.5.ext4 文件系统拉伸：（先拉伸设备，再拉伸文件系统）

1mkfs.ext4/dev/westosvg/westoslv 将lvm形式的格式化为ext4类型的文件系统；或者直接在划分分区的时候选择ext4类型的分区
2挂载设备
3拉伸设备

4resize2fs /dev/mapper/westosvg-westoslv 将文件系统也拉伸

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

1.6lvm 缩减

xfs 文件系统不支持缩减 ext 文件系统可以
mkfs.ext4/dev/westosvg/westoslv见1.4.

1.6.1缩减步骤

1umount /weixindata先卸载掉挂载设备
2e2fsck -f /dev/westosvg0/westoslv0**扫描这个设备里面的东西,否则直接缩减会造成损坏 **
3resize2fs /dev/westosvg0/westoslv0 300M缩减文件系统
4lvreduce -L 300M /dev/westosvg/westoslv缩减lvm设备
5mount /dev/westosvg/westoslv /weixindata/ 重新挂载

在这里插入图片描述在这里插入图片描述

1.7lvm 删除

1umount /dev/mapper/westosvg-westoslv 卸载设备
2lvremove /dev/westosvg/westoslv删除lv
3vgremove westosvg删除vg
4pvremove /dev/vda2删除pv

在这里插入图片描述
当删除时pv显示正在忙，如何删除？
在这里插入图片描述

设备故障无法删除？
1fdisk /dev/vdb删掉分区
时间同步
[root@localhost Desktop]# vgdisplay ##查看
vgreduce westosvg0 UUID=?
2vgreduce --removemissing westosvg0
pvs 查看

1.8 快照？

删掉数据后恢复

1[root@localhost weixindata]# mount /dev/westosvg0/westoslv0 /weixindata/ 挂载设备
2[root@localhost weixindata]# cd /weixindata/
[root@localhost weixindata]# touch file{1.5} 在挂载的目录下建立文件
[root@localhost weixindata]# cd
3[root@localhost ~]# umount /weixindata 卸载之后再建立快照
4[root@localhost ~]# lvcreate -L 50M -n westoslv0-backup -s /dev/westosvg0/westoslv0 建立快照
Rounding up size to full physical extent 52.00 MiB
Logical volume “westoslv0-backup” created.
5[root@localhost weixindata]# mount /dev/westosvg0/westoslv0-backup /weixindata/ 将快照挂载到原来的目录下
[root@localhost weixindata]# cd /weixindata/
[root@localhost weixindata]# ls
file{1.5}
6[root@localhost weixindata]# rm -fr * 删掉文件
[root@localhost weixindata]# ls
[root@localhost weixindata]# cd
7[root@localhost ~]# umount /weixindata ** 卸载设备**
8[root@localhost ~]# lvremove /dev/westosvg0/westoslv0-backup 删掉快照
Do you really want to remove active logical volume westosvg0/westoslv0-backup? [y/n]: y
Logical volume “westoslv0-backup” successfully removed
9[root@localhost ~]# lvcreate -L 50M -n westoslv0-backup -s /dev/westosvg0/westoslv0 ** 重新建立快照**
Rounding up size to full physical extent 52.00 MiB
Logical volume “westoslv0-backup” created.

10[root@localhost ~]# mount /dev/westosvg0/westoslv0 /weixindata/ 重新挂载原设备
11[root@localhost ~]# ls /weixindata/ 文件恢复
file{1.5}

2.vdo虚拟数据优化器

dd if=/dev/zero of=/dev/vdb bs=1M count=1 ##清掉分区表
清掉所要将其作为vdo设备的设备的分区表数据。

2.1 vdo?

kvdo 压缩数据
uds 优化重复数据

VDO（Virtual Data Optimize）是RHEL8/Centos8上新推出的一个存储相关技术（最早在7.5测试版中开始测试），是Redhat收购的Permabit公司的技术。

VDO的主要作用是节省磁盘空间，比如让1T的磁盘能装下1.5T的数据，从而降低数据中心的成本。

那vdo是如何实现的呢，关键原理主要是重删和压缩，重删就是硬盘里拷贝来相同的数据，以前要占多份空间，现在只需要1份空间就可以了。类似我们在百度网盘中上传一个大型软件安装包，能实现秒传，其实是之前就有，所以无需再传一遍，也无需再占百度一份空间。另一方面是数据压缩，类似于压缩软件的算法，也可以更加节省磁盘空间。

2.2vdo 建立

vmvare虚拟机中的设备sdb，1实验都是在linux系统中的虚拟机中进行，vdb，注意设备

dnf install vdo -y
1vdo create --name=westos_vdo1 --device=/dev/sdb

2vdo status --name=westos_vdo1 | less

Deduplication:enabled vdo 检测并删除重复数据的功能时开启的
Compression: enabledvdo 数据压缩功能开启

在这里插入图片描述

在这里插入图片描述

2.3使用 vdo 设备

1mkfs.xfs -K /dev/mapper/westos_vdo1格式化vdo设备
2mkdir /westos_vdo 建立目录
3mount /dev/mapper/westos_vdo1 /westos_vdo挂载vdo设备
在这里插入图片描述

2.4测试 vdo 性能

1vdostats --human-readable 查看设备使用情况

2cp /westos/images/install.img /westos_vdo/
3vdostats --human-readable
Device Size Used Available Use% Space saving%
/dev/mapper/westos_vdo1 20.0G4.4G 15.6G 22% 2%
4cp /westos/images/install.img /westos_vdo/install.img.1 复制相同的数据到挂载目录下时，使用率不变，自动保留一份数据，进行优化
5vdostats --human-readable
Device Size Used Available Use% Space saving%
/dev/mapper/westos_vdo120.0G 4.5G 15.5G 22% 50%
与我的实验有点出入
在这里插入图片描述

2.5vdo 设备的删除

vdo remove --name=westos_vdo1

在这里插入图片描述

vdo设备的永久挂载

vdo设备的永久挂载，参数比较特殊，
man vdo
/fstab
查看vdo设备在/etc/fstab文件的参数如何写

在这里插入图片描述

vim /etc/fsatb
/dev/mapper/westos_vdo1 /westos_vdo xfs defaults,x-systemd.requires=vdo.service 0 0
####注意:在/etc/fstab的文件的编辑的时候要保证参数必须全对 ，否则系统无法重启。

ninimino
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
linux系统磁盘lvm类型,3分钟看懂 Linux 磁盘划分
weixin_29100927的博客
05-03 1085
原标题：3分钟看懂 Linux 磁盘划分前几天遇到了这样一个情景：一个服务器是以虚拟机的形式提供的，通过df -h看服务器磁盘空间只有30多个G，但通过fdisk -l看发现有一个160G的磁盘空间 没有挂载，因此需要在不重启的前提下将160G的磁盘挂载。之前处理过好几次这种问题，但一段时间不弄，又有点忘了，趁此机会将此案例分享一下，加深记忆。在说这个案例前，先简要谈一下处理这个问题所要用到的逻辑...
Linux学习笔记——逻辑卷及vdo的建立
weixin_70372673的博客
11-23 1248
上一篇文章对Linux存储的基本管理进行了介绍，包括如何进行磁盘的分区、swap分区、磁盘配额等。但是对于磁盘存储大小是在刚划分时就确定下来的，不能随意扩展，这就导致在磁盘存储满了后只能通过更换硬盘的方式来解决问题，这对于企业来说是是非常不便利的，本篇文章将着重介绍：1.lvm逻辑卷管理器的建立，2.vdo虚拟数据优化器的建立。
Linux主机磁盘扩容LVM(逻辑分区)
C3399的博客
01-30 2041
文章为解决磁盘空间不足通过lvm的方式对逻辑分区扩容，达到在线扩容磁盘目录的情况，以扩容挂载目录为/app举例，同样适用于扩容/根目录
Linux基础-虚拟数据优化器VDO_linux vdo，2024年最新2024网易大数据开发高级面试题总结
最新发布
2301_77033583的博客
04-17 684
mv /wangwu.txt /mnt/wangwuvdo/wangwu1.txt #移动测试文件到vdo并重命名。[root@wangwu ~]# umount /dev/mapper/wangwuvdo #卸载挂载目录。[root@wangwu ~]# vdo remove -n wangwuvdo #删除vdo卷。mount /dev/mapper/wangwuvdo /mnt/wangwuvdo #挂载。cp /wangwu.txt /mnt/wangwuvdo/ #拷贝测试文件到vdo。
Linux学习第十节-VDO高级存储
时光之眼的博客
03-03 719
Linux学习第十节-VDO高级存储
Linux高级存储管理
z17609273238的博客
06-15 236
Linux高级存储管理
Linux基础-虚拟数据优化器VDO
Passerby_Wang的博客
08-07 2019
一、VDO简介 二、制作VDO卷 三、VDO卷相关功能
LVM逻辑卷管理器.docx
03-01
LVM（Logical Volume Manager）是 Linux 中的一种逻辑卷管理器，自从 Linux 2.4 内核中被集成以来，它改变了传统的磁盘空间管理理念。LVM 的出现解决了传统分区大小规划的限制，可以在不需要重启系统的情况下动态...
linux实验——LVM逻辑卷管理器.doc
01-09
Linux LVM（Logical Volume Manager，逻辑卷管理器）是一种先进的磁盘管理技术，它允许管理员在物理硬盘之上创建逻辑卷，这些逻辑卷可以跨越多个硬盘，提供更大的灵活性和可扩展性。通过LVM，我们可以轻松地调整卷的...
Linux 逻辑卷管理(LVM)使用方法总结
09-14
Linux 逻辑卷管理（LVM, Logical Volume Manager）是一种先进的磁盘管理技术，它提供了一种灵活的方式来管理和扩展存储空间。LVM允许系统管理员在不影响系统运行的情况下动态调整磁盘分区大小，使得磁盘管理变得更加...
linux-逻辑卷管理器 LVM
10-26
逻辑卷管理器 LVM 逻辑卷管理器 LVM 是一种动态磁盘管理机制，它可以将底层物理硬盘抽象封装起来，以逻辑卷的形式表现给上层系统。逻辑卷的大小可以动态调整，而且不会丢失现有数据。新加入的硬盘也不会改变现有...
linux基础 –存储管理 逻辑卷LVM
01-20
逻辑卷LVM 目的:管理磁盘的一种方式，与前面说的磁盘管理性质差不多 特点：能够随便的扩张或者缩小磁盘，不受磁盘分区的影响，比较方便，企业里面都是进行扩张的 分类 PV：物理卷 VG：卷组 LVM：逻辑卷 创建LVM 准备...
RHEL 8 VDO重复数据删除和压缩存储.doc
10-11
虚拟数据优化器（VDO）以重复数据删除，压缩和精简配置的形式为Linux提供了内联数据缩减。设置VDO卷时，可以指定要在其上构造VDO卷的块设备以及计划提供的逻辑存储量。 • 当托管活动的虚拟机或容器时，红帽建议以10：1的逻辑与物理比率配置存储：即，如果您使用1 TB的物理存储，则将其表示为10 TB的逻辑存储。 • 对于对象存储（例如Ceph提供的类型），Red Hat建议使用3：1的逻辑与物理比率：也就是说，将1 TB的物理存储表示为3 TB的逻辑存储。 无论哪种情况，您都可以将文件系统放在VDO提供的逻辑设备之上，然后直接使用它或将其用作分布式云存储体系结构的一部分。
【Linux】使用 VDO 卷优化存储空间
m0_60511809的博客
08-15 540
VDO（Virtual Data Optimizer 即 虚拟数据优化器）是一种用于数据存储的技术，它提供了块级别的数据去重（deduplication）、压缩和快照功能，以帮助节省存储空间并提高存储性能。VDO通常用于 Linux 系统中，特别是在虚拟化环境或需要高效利用存储资源的场景中数据去重（Deduplication）：VDO 可以识别和消除重复的数据块，以节省存储空间。当多个文件或块包含相同的数据内容时，VDO 只会存储一份副本，并在需要时进行引用。数据压缩。
RHEL8_Linux虚拟数据优化器VDO
ls041224的博客
12-08 1514
VDO全称是Virtual Data Optimize（虚拟数据优化)，主要是为了节省硬盘空间。现在假设有两个文件file1和 file2，大小都是10G。file1和 file2中包含了8G的相同数据， 如图中的灰色部分。这个相同数据在硬盘中存储了两份，所以这两个文件占用的硬盘空间是20G。如果采用了VDO，效果如图file1和 file2大小都是10G，两个文件中都有8G的相同数据。那么，这个相同数据在硬盘中只存储一份，让filel和 file2共同使用。
Linux Autofs自动挂载服务详解
永远是少年
11-27 9758
今天我们继续给大家介绍Linux相关内容，本文主要内容是Linux Autofs自动挂载服务。 一、autofs服务简介 我们在使用Linux时，如果要访问硬件资源，则需要使用mount命令进行挂载，将硬件资源与一个目录进行对应，然后才可以访问使用该存储介质。如果使用samba或者是NFS服务，也需要对远程存储设备进行挂载。mount挂载是使用外部存储介质或者文件系统所必须的一步操作，但是如果挂载的资源过多，则会给网络资源和服务器资源造成一定的负载，从而降低服务器性能。 为了解决这一问题，我们可以使用aut
物理卷PV，逻辑卷LV，卷组VG，分区、LVM卷简明教程
跑码场
09-23 6249
之前对这些概念一直懵懵懂懂，现在由于需要边仔细看了一边，下面写下自己的理解，如有不对之处，还希望各位不吝赐教！物理磁盘(物理硬盘) 就是你电脑上那块（或多块）沉得可以砸死人的东西虚拟磁盘 使用RAID技术组合的多个物理磁盘组称为一个虚拟磁盘，此时电脑将多个物理磁盘看成一个，这一个我们成为虚拟磁盘。逻辑磁盘 虚拟磁盘可以在逻辑上再次进行划分，划分出的磁盘称为逻辑磁盘。比如，有4个各100G大小的
物理分区（PP）、物理卷（PV）、逻辑分区（LP）、逻辑卷（LV）卷组（VG）
kent_kent_kent的专栏
03-10 6428
物理卷：一个物理卷指一块硬盘。 卷组：卷组是可用物理硬盘的集合，可以逻辑地看成一块大硬盘。一个卷组由一个或多个物理卷组成，最多可达32 个（AIX4.3.2 版本下该值已经增至128）。 物理分区：卷组中的物理卷划分成固定大小的块（缺省为4MB），这样的块称为物理分区。 逻辑卷：每个卷组中可以定义一个或多个逻辑卷，逻辑卷是位于物理分区上的信息集合（可以是一个文件系统、调页空间、日志或转储
Linux入门|（六）LIinux的高级存储管理(lvm逻辑卷的创建删除及挂载,拉伸与缩减；vdo虚拟数据优化器的建立,挂载,删除)
energylocked的博客
08-08 463
第二，当一个文件系统/分区已满，无法对其进行扩充，就只能采用重新分区/建立文件系统，或者把分区中的数据迁移到另一个更大的分区中，再或者采用符号连接的方式使用其他分区的空间，十分繁琐。第三，如果要把硬盘上的多个分区合并在一起使用，只能采用再分区的方式，但这个过程需要数据的备份与恢复。lvm逻辑卷支持快照功能,快照可以保存原始lvm设备里的内容,读取设备的时候是从母盘读取,但写数据会写入快照。所以,我们可以将lvm设备的快照挂载到指定数据目录中,避免在数据目录中执行操作时对原lvm设备的数据造成损坏。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值