纠删码
gggzy
这个作者很懒,什么都没留下…
展开
-
纠删码的学习摘录(一)
《面向纠删码存储集群的节点并发重构 黄建忠 曹强 黄思倜 谢长生》分布式存储具有很高的性价比和扩展性,已成为大规模数据中心的主流存储解耦股,然而,分布式存储系统包含大量存储节点,节点失效是经常性事件。为了避免数据丢失,通常采用副本进行容错,对于PB级以内的数据集而言,3副本方案所增加的2倍存储容量不是太大的问题。但对于PB级、EB级、ZB级存储系统来说,多副本方案的存储开销对硬件成...转载 2018-11-06 09:54:13 · 301 阅读 · 0 评论 -
纠删码项目总结(1.0)
1. 为什么要使用纠删码?随着数据的持续增长,在 PB 级别的数据中心,多副本技术会引入极大的存储开销。比如,现有的分布式存储系统,如 HDFS(Hadoop distributed file system)、Ceph,普遍采用三副本的配置,这将占用原始数据的 3 倍存储空间。面对如此情况,纠删码技术因其低存储开销的特点近年来受到越来越多的关注。其中,RS 编码(Reed-Solomon...原创 2019-06-21 21:23:59 · 1524 阅读 · 0 评论