Erasure Code
HeyManLeader
这个作者很懒,什么都没留下…
展开
-
Erasure Code原理
1.什么是erasure code? erasure code可以认为是RAID的通式,任何RAID都可以转换为特定的erasure code。在传统的RAID中,仅支持少量的磁盘分布,当系统中存在多个分发点和多节点时,RAID将无法满足需求。比如RAID5只支持一个盘失效,即使是RAID6也仅支持两个盘失效,所以支持多个盘失效的算法也就是erasure code是解决这一问题的办法转载 2016-07-26 12:19:27 · 20399 阅读 · 0 评论 -
Erasure Code
数据规模庞大(目前google、淘宝等存储的大数据规模以PB为单位)、大数据增长速度远超过摩尔定律,如何利用有限存储资源满足迅速膨胀的存储需求成为大数据时代存储技术面临的一项重大挑战。多副本策略在满足存储可靠、优化数据读性能同时也不可避免地造成存储资源利用率低的缺陷。erasure code编码存储策略在满足和多副本同样可靠性前提下,可以达到更高的存储资源利用率。 当前,Microsof转载 2016-07-26 12:11:22 · 2394 阅读 · 1 评论 -
EC---->LRC---->Sparse Erasure Code
副本存储(3副本技术)方案是将一个文件切分成多个Block进行存储,通常一个Block 64MB或者128MB,每个Block有多个(工业界默认3个)副本(replica),每个副本作为一个整体存储在一个Data Node上,这种方法在增加可用性的同时也增加了存储成本。 Erasure Code通过将M个数据block进行编码(Reed-Solomon算法 / LRC),生成K个校验(p原创 2016-07-26 12:33:19 · 3903 阅读 · 0 评论