云存储
文章平均质量分 93
柠檬ooo
这个作者很懒,什么都没留下…
展开
-
CubeFS存储技术揭密(1) — 纠删码引擎系统设计
CubeFS 3.0.0以前版本只提供多副本存储,随着数据规模持续增长,业务面临着更大的成本挑战,用户对更低成本的纠删码(ErasureCode, 下文简称EC)的需求愈加强烈;CubeFS近期重磅发布3.0.0版本,其关键特性之一是增加了对EC的支持(下图中ErasureCode Subsystem部分),EC将大幅降低数据冗余度,优化存储成本,有力支撑更大规模存储需求。转载 2022-11-06 11:36:51 · 1516 阅读 · 0 评论 -
如何设计并实现存储qos
一、资源抢占问题随着存储架构的调整,众多应用服务会运行在同一资源池中,对外提供统一的存储能力。资源池内部可能存在多种流量类型,如上层业务的IO流量、存储内部的数据迁移、修复、压缩等,不同的流量通过竞争的方式确定下发到硬件的IO顺序,因此无法确保某种流量IO服务质量,比如内部数据迁移流量可能占用过多的带宽影响业务流量读写,导致存储对外提供的服务质量下降,由于资源竞争结果的不确定性无法保障存储对外能提供稳定的集群环境。如下面交通图所示,车辆逆行、加塞随心随遇,行人横穿、闲聊肆无忌惮,最终出现交通拥堵甚至转载 2022-03-29 22:09:32 · 719 阅读 · 0 评论 -
浅谈对象之MinIO源码篇
一、简介minio提供高性能、兼容S3的对象存储,适合存储非结构化数据,如视频、图片、日志文件、备份数据等,文中主要介绍minio中几个关键流程。二、名词解释擦除集(Erasure Set):是指一组纠删码集合,最大为32个驱动器,纠删码作为一种数据冗余技术相比于多副本以较低的数据冗余度提供足够的数据可靠性。擦除集中包含数据块与校验块,并且随机均匀的分布在各个节点上 如图所示,假定擦除集中包含10个驱动(磁盘),则会组成一个6+4的纠删码集合,用户上传一个6M大小的对象,则会对其先拆.转载 2022-03-29 21:55:38 · 7230 阅读 · 1 评论