存储
文章平均质量分 93
柠檬ooo
这个作者很懒,什么都没留下…
展开
-
CubeFS存储技术揭秘(3)— 均衡、巡检与故障自愈
CubeFS的纠删码存储子系统(BlobStore),是一个高可靠、高可用、低成本、支持EB规模的独立Blob存储系统。通过之前分享的系列文章大家对纠删码子系统已经有了深入了解,本文将继续带领大家探讨更多内部实现细节转载 2022-11-06 11:42:28 · 1187 阅读 · 0 评论 -
CubeFS存储技术揭秘(2)— 纠删码单机存储引擎
https://mp.weixin.qq.com/s/jCdvwueQrjeIbwAADzb_7Q转载 2022-11-06 11:40:03 · 1234 阅读 · 0 评论 -
如何设计并实现存储qos
一、资源抢占问题随着存储架构的调整,众多应用服务会运行在同一资源池中,对外提供统一的存储能力。资源池内部可能存在多种流量类型,如上层业务的IO流量、存储内部的数据迁移、修复、压缩等,不同的流量通过竞争的方式确定下发到硬件的IO顺序,因此无法确保某种流量IO服务质量,比如内部数据迁移流量可能占用过多的带宽影响业务流量读写,导致存储对外提供的服务质量下降,由于资源竞争结果的不确定性无法保障存储对外能提供稳定的集群环境。如下面交通图所示,车辆逆行、加塞随心随遇,行人横穿、闲聊肆无忌惮,最终出现交通拥堵甚至转载 2022-03-29 22:09:32 · 690 阅读 · 0 评论 -
浅谈消息中间件之kafka
1. 引言Kafka是一个分布式的基于发布、订阅的消息系统,有着强大的消息处理能力,相比与其他消息系统,具有以下特性:快速数据持久化,实现了O(1)时间复杂度的数据持久化能力。 高吞吐,能在普通的服务器上达到10W每秒的吞吐速率。 高可靠,消息持久化以及副本系统的机制保证了消息的可靠性,消息可以多次消费。 高扩展,与其他分布式系统一样,所有组件均支持分布式、自动实现负载均衡,可以快速便捷的扩容系统。 离线与实时处理能力并存,提供了在线与离线的消息处理能力。正是因其具有这些的优秀特性而广泛用转载 2022-03-29 22:06:35 · 409 阅读 · 0 评论 -
浅谈对象之MinIO源码篇
一、简介minio提供高性能、兼容S3的对象存储,适合存储非结构化数据,如视频、图片、日志文件、备份数据等,文中主要介绍minio中几个关键流程。二、名词解释擦除集(Erasure Set):是指一组纠删码集合,最大为32个驱动器,纠删码作为一种数据冗余技术相比于多副本以较低的数据冗余度提供足够的数据可靠性。擦除集中包含数据块与校验块,并且随机均匀的分布在各个节点上 如图所示,假定擦除集中包含10个驱动(磁盘),则会组成一个6+4的纠删码集合,用户上传一个6M大小的对象,则会对其先拆.转载 2022-03-29 21:55:38 · 7067 阅读 · 1 评论