linux 存储管理

存储管理

逻辑卷LVM

目的:管理磁盘的一种方式,性质与基本磁盘无异
特点:随意扩张大小
PV:物理卷
VG:卷组
LV:逻辑卷

PV 物理卷

pvcreate /dev/sdc #PV创建
pvs #查看PV
pvscan
pvdisplay
pvremove #取消
pvreduce 物理卷名称 /dev/sdc    //卸载物理卷里面的物理卷

VG 卷组

vgcreate vg1 /dev/sdb #VG创建
vgs #查看VG vgscan  vgdisplay
vgremove #取消
vgreduce 卷组名称 /dev/sdc    //卸载卷组里面的物理卷

LV 逻辑卷

lvcreate -L 4G -n lv1 vg1  #LV创建
-L 大小 -n 卷名  vg1组名  大小单位:M,G
lvs lvscan lvdisplay 查看逻辑卷
lv移除
[root@localhost ~]# lvremove /dev/vg2/lv2
​
Do you really want to remove active logical volume vg2/lv2? [y/n]: y
​
  Logical volume "lv2" successfully removed
  #先移除lv
[root@localhost ~]# vgremove /dev/vg2
​
  Volume group "vg2" successfully removed
    #再移除vg
[root@localhost ~]# pvremove /dev/sdc
​
  Labels on physical volume "/dev/sdc" successfully wiped.
  #移除pv

创建文件系统并挂载

mkfs.ext4 /dev/vg1/lvl  #/dev/卷组名/逻辑卷名
mkdir /mnt/lvl #创建挂载点
mount /dev/vgl/lvl /mnt/lvl #挂载

逻辑卷扩容

卷组没有空间
添加硬盘做物理卷
扩展VG
vgextend vg1 /dev/sdd1 
LV扩大
LV扩容
lvextend -L +200M /dev/vgl/lv2 #增加200Mlv2
文件系统扩容
FS扩容
df -Th
resize2fs /dev/vgl/lv2 #ext4
xfs_growfs /dev/xian2305/lv2 #xfs

LVM逻辑卷缩容

1. 备份数据: 在开始缩小逻辑卷之前,首先备份其中的所有数据,以防止数据丢失。
​
2. 卸载逻辑卷:如果逻辑卷包含操作系统的根目录或者已挂载的其他重要目录,需要在进入单用户模式下或使用 Live CD 环境下卸载该逻辑卷。这是因为无法在线缩小当前正在使用的逻辑卷。
​
3. 卸载文件系统: 在缩小逻辑卷之前,确保已卸载文件系统。如果是 ext2/ext3/ext4 文件系统,可以使用以下命令:
​
  
 bash
   umount /mnt/vg2/lv1/
   
​
4. 检查文件系统: 在缩小逻辑卷之前,最好使用文件系统检查工具检查文件系统是否有错误。对于 ext2/ext3/ext4 文件系统,可以运行:
​
 
  bash
   e2fsck -f /dev/vg2/lv1
   
​
   ![image-20230722192707005](https://qianfengliujie.oss-cn-beijing.aliyuncs.com/image-20230722192707005.png)
​
5. 缩小逻辑卷: 使用 lvresize命令来缩小逻辑卷。例如,假设你要将逻辑卷 /dev/vg2/lv1缩小到 10G,可以运行:
​
   
bash
   lvresize --resizefs --size 10G /dev/vg2/lv1 
​
​
   这将缩小逻辑卷的大小,并自动调整文件系统大小。
​
6. 重新挂载逻辑卷: 如果你在步骤2中卸载了逻辑卷,现在可以重新挂载它。
​
7. 验证操作: 确认文件系统和逻辑卷已成功缩小到所需大小。
​
请注意,缩小逻辑卷涉及风险,如果操作不当可能导致数据丢失。因此,在进行此操作之前,务必备份所有重要数据,并谨慎操作。如果你对这些步骤不确定或不熟悉,建议寻求专业人士的帮助。

测试磁盘io(压力测试)

dd if=/dev/zero of=/data1/a.txt bs=1000M

交换分区

基本分区

1.添加一个硬盘

2.分区

[root@linux-server ~]# fdisk /dev/sdd  #分一个主分区出来
[root@linux-server ~]# partprobe /dev/sdd #刷新分区表
[root@linux-server ~]# ll /dev/sdd*
brw-rw----. 1 root disk 8, 16 Nov  9 14:11 /dev/sdd
brw-rw----. 1 root disk 8, 17 Nov  9 14:11 /dev/sdd1

3.格式化

mkswap /dev/sdd1

4.开机自动挂载

vim /etc/fstab
​
/dev/sdd1 swap swap defaults 0 0

5.让交换生效

swapon -a
​
swapon -s

文件

1.生成文件

dd if=/dev/zero of=/swap.img bs=1000M count=5

2.格式化

mkswap /swap.img

3.开机自动挂载

vim /etc/fstab
​
/swap.img swap swap defaults    0 0

4.生效

swapon -a

关闭交换分区

swapoff -a

挂载

mount -o 
    ro  只读
    rw  读写
    exec    允许执行二进制文件
    noexec  不允许执行二进制文件
    remount 在线重新挂载
    auto    默认参数
    mount  #查看已经挂载上的系统的属性

取消挂载

[root@linux-server ~]# df -Th
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/mapper/vg1-lv1     xfs       1.7G   34M  1.7G   2% /mnt/lv1
/dev/mapper/vg1-lv2     ext4       74M  1.6M   67M   3% /mnt/lv2
[root@linux-server ~]# umount /mnt/lv2/

  • 5
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
上层应用业务对实时数据的需求,主要包含两部分内容:1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求,都需要进行的下钻分析支持,我们希望能够建立统一的实时OLAP数据仓库,并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录,再细拆到AB实验更细维度时,数据量则多达上百亿记录,多维数据组合下的聚合查询要求秒级响应时间,这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型,需要满足以下几点:1:数据延迟在分钟级,查询响应时间在秒级2:标准SQL交互引擎,降低使用成本3:支持join操作,方便维度增加属性信息4:流量数据可以近似去重,但订单行要精准去重5:高吞吐,每分钟数据量在千W级记录,每天数百亿条新增记录6:前端业务较多,查询并发度不能太低通过对比开源的几款实时OLAP引擎,可以发现Doris和ClickHouse能够满足上面的需求,但是ClickHouse的并发度太低是个潜在的风险,而且ClickHouse的数据导入没有事务支持,无法实现exactly once语义,对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题,DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库,非常的强大,随着互联网发展,数据量会越来越大,实时查询需求也会要求越来越高,DorisDB人才需求也会越来越大,越早掌握DorisDB,以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解,具体分析指标包含:AB版本分析,下砖分析,营销分析,订单分析,终端分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值是非常高的。本课程包含的技术:开发工具为:IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点:1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端(PC、移动、小程序)应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操,提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值