存储常见术语和概念

1、条带化(striping)

把数据分片,存储在多个磁盘以提高数据并行访问速率,从而提升I/O性能;

影响条带化性能有两个关键指标,条带大小和条带宽度,条带大小(striping size)即分片的数据块大小,数据块分得越多,就可以并行存储到更多的磁盘,传输性能更高,自然要求控制器有更强的数据块分片、定位、排队、合并的能力,反之则传输性能降低,对控制器的要求也降低;条带宽度(striping width),即可并发读写的条带数(例如,磁盘),宽度越大即并发读写能越强。


2、写惩罚(write penality)

写惩罚是RAID中当有数据变更时或写小数据块时,需要对磁盘做的额化操作,一般情况下需要做读条带数据、读校验码、重写数据、重写校验码的操作;


3、快照

全拷贝快照:对数据做完全镜像,在存储设备上要分配同样大小的空间,同步过程影响写操作;

差分快照

写时复制(CoW,Copy on Write)

    COW快照需要消耗一些存储空间--建立快照卷。当我们为一个数据卷创建一个快照之后,这些预留的空间用来存放被变化数据更新的旧数据。COW快照在初始化的过程中仅仅创建用来描述源数据块位置的指针信息(元数据),而不是完整的将源数据块拷贝过来。因此初始化的过程几乎可以在瞬间完成,对系统的影响也很小。

 COW快照会跟踪数据卷的写操作和数据块变化。当某个数据块发生改变时,在将旧的数据覆盖之前,首先将该块的旧数据复制到预留的快照卷,该步骤仅在数据卷相应数据块位置发生第一次写操作请求时进行。这个处理过程确保快照出来的数据与发起快照的那个精确时间点保持完全一致。这个过程也描述了“copy on write”这个名字的含义。

    COW快照的主要优势在于空间的高效利用,因为快照卷只需要保留发生过变化的数据块,与数据卷相比要小得多。但是我们也知道COW快照有个缺点,它会引起数据卷性能的下降,这是因为创建快照之后,对数据卷的写操作会增加一个等待的过程 --即旧数据块复制到快照卷的过程。另外一个关键问题是每个快照卷必须依赖一个完整的数据卷。


写时重定向(RoW,Redirect on Write)

“ROW重定向写”与“COW复制写”是相对的概念,它可以避免两次写操作引起的性能损失。ROW同COW一样在空间利用方面效率非常高。那是什么让ROW快照避免了写性能的损耗?其中的原因是ROW把对数据卷的写请求重定向给了快照预留的存储空间,而写操作的重定向设计则把需要两次写才能完成的操作减少为一次写。我们知道COW的两次写包括:1、将旧数据写入快照卷;2、在数据卷写入新数据。而ROW只有写入新数据一步。

  使用ROW快照,数据卷存放的是上一个快照时间点的旧数据,新数据最终存放在预留的快照空间。这里也有一个复杂的问题,就是快照的删除。被删除的快照上的数据必须被复制到原始数据卷,并且做一致性回退。创建的快照越多,维护快照的复杂度也会以指数级别上升。这些复杂性包括对原始数据的访问、快照数据和原始数据卷的跟踪、以及快照删除后的数据调整。另一个直接引发的严重问题是,原始数据集中会产生大量的碎片。

4、烟囱式架构

首先,传统IT系统多为“烟囱式”架构,一平台一应用,如果需要扩容,原有的架构和部署方式必然发生巨大变化,并且多系统之间很难实现数据共享,扩容成本极高。其次,多套系统造成管理、维护效率低下。研究表明,IT系统用于维护的费用占到整体费用的72%,远高于首次采购设备的费用。而这一状况在进入海量存储时代后变得更加突出。


  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分布式存储引擎常用术语包括以下几个: 1. 分布式集群存储:将数据分布在多台存储节点上,提供大容量、高性能、高可用、高扩展的存储服务。 2. 分布式存储系统:通过文件、块、对象等方式存储非结构化数据。常见的分布式存储系统有Ceph、GFS、HDFS、Swift等。 3. Pool:在Ceph中,pool是存储数据时的逻辑分区,类似于命名空间的概念。每个pool包含一定数量的PG(Placement Group),PG里的对象被映射到不同的OSD(Object Storage Device)上。 4. 分布式数据库:通过表格来存储结构化数据,方便查找。常用的分布式数据库有MySQL Sharding、Microsoft SQL Azure、Google Spanner、Alibaba OceanBase等。 5. 分布式键值系统:通过键值对来存储半结构化数据。常用的分布式键值系统有Redis、Memcache等,可用作缓存系统。 这些术语在分布式存储引擎中被广泛使用,用于描述不同的存储方式和数据类型。 #### 引用[.reference_title] - *1* *3* [分布式数据存储系统:三要素](https://blog.csdn.net/weixin_38333368/article/details/122154472)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Ceph分布式存储服务](https://blog.csdn.net/zhangkangren/article/details/130266653)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值