RAID的掘墓人和HADOOP/GFS 三备份的替代方案:Erasure code(从Reed Solomon code到LRC/XOR)

原创 2013年12月03日 21:27:11


//改良or革命!传统RAID未来发展三大方向 , Erasure code

http://storage.it168.com/a2010/0604/1004/000001004383_all.shtml


//什么是Erasure code

http://en.wikipedia.org/wiki/Erasure_code


//HDFS-RAID使用Erasure Code来实现HDFS的数据冗余

http://yanbohappy.sinaapp.com/?p=106


//Erasure Code为Hadoop节省数据恢复带宽

http://www.csdn.net/article/2013-07-04/2816109-Hadoop_with_XOR_Erasure_Code_spare_bandwidth

Reed-Solomon Codes

Reed-Solomon Codes An introduction to Reed-Solomon codes: principles, architecture and implementati...
  • oliverking2012
  • oliverking2012
  • 2013年11月18日 22:14
  • 2079

reed solomon编码实践

如果大家对于raid原理有所了解的话,对于这个reed solomon(里德-所罗门码)编码就不陌生。下简单介绍原理 第一步先通过Vandermonde 矩阵编码,如下这样原始的ABCD-MNOP的...
  • u010278923
  • u010278923
  • 2017年06月06日 10:08
  • 519

EC---->LRC---->Sparse Erasure Code

副本存储(3副本技术)方案是将一个文件切分成多个Block进行存储,通常一个Block 64MB或者128MB,每个Block有多个(工业界默认3个)副本(replica),每个副本作为一个整体存储在...
  • sinat_27186785
  • sinat_27186785
  • 2016年07月26日 12:33
  • 1295

Reed Solomon Erasure Codes

Reed Solomon Erasure Codes 上一篇文章《Finite Field Arithmetic》介绍了有限域上的运算,理解有限域上的运算,是理解erasure编码的基础。今天...
  • zjqlovell
  • zjqlovell
  • 2016年03月31日 21:16
  • 424

Hadoop 3.0纠删码(Erasure Coding):节省一半存储空间

随着大数据技术的发展,HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性,HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本,这也使得存储利用率仅为1/3,每T...
  • runningtortoises
  • runningtortoises
  • 2016年06月02日 15:20
  • 2578

Erasure Code

数据规模庞大(目前google、淘宝等存储的大数据规模以PB为单位)、大数据增长速度远超过摩尔定律,如何利用有限存储资源满足迅速膨胀的存储需求成为大数据时代存储技术面临的一项重大挑战。多副本策略在满足...
  • sinat_27186785
  • sinat_27186785
  • 2016年07月26日 12:11
  • 625

Reed–Solomon error correction

 There are some URL about the Reed–Solomon error correctionhttp://en.wikipedia.org/wiki/Reed-Solomon...
  • OpenHero
  • OpenHero
  • 2007年07月23日 17:03
  • 2185

Erasure Code原理

1.什么是erasure code?     erasure code可以认为是RAID的通式,任何RAID都可以转换为特定的erasure code。在传统的RAID中,仅支持少量的磁盘分布,当系...
  • sinat_27186785
  • sinat_27186785
  • 2016年07月26日 12:19
  • 4344

Erasure Code - EC纠删码原理

本文介绍了EC纠删码的原理,介绍了RS纠删码中的范德蒙德矩阵和柯西矩阵的区别,比较了两种矩阵的性能差异。...
  • shelldon
  • shelldon
  • 2017年01月07日 00:12
  • 3271

我所理解的Reed solomon 算法

在数据传输过程中难免会遇到部分数据丢失或者受到干扰而出错,因此利用算法来恢复错误的数据,reed Solomon(简称RS)便是其中的一种常用的算法。 RS算法是以牺牲带宽为代价的,编码过程中会产生...
  • u010433656
  • u010433656
  • 2014年06月24日 05:10
  • 3755
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:RAID的掘墓人和HADOOP/GFS 三备份的替代方案:Erasure code(从Reed Solomon code到LRC/XOR)
举报原因:
原因补充:

(最多只允许输入30个字)