RAID的掘墓人和HADOOP/GFS 三备份的替代方案:Erasure code(从Reed Solomon code到LRC/XOR)

原创 2013年12月03日 21:27:11


//改良or革命!传统RAID未来发展三大方向 , Erasure code

http://storage.it168.com/a2010/0604/1004/000001004383_all.shtml


//什么是Erasure code

http://en.wikipedia.org/wiki/Erasure_code


//HDFS-RAID使用Erasure Code来实现HDFS的数据冗余

http://yanbohappy.sinaapp.com/?p=106


//Erasure Code为Hadoop节省数据恢复带宽

http://www.csdn.net/article/2013-07-04/2816109-Hadoop_with_XOR_Erasure_Code_spare_bandwidth

XOR的黄色大象:Erasure Code为Hadoop节省数据恢复带宽

XOR的黄色大象:Erasure Code为Hadoop节省数据恢复带宽 发表于21小时前| 1392次阅读| 来源CSDN| 6 条评论| 作者包研 HadoopErasure Code...
  • wusoule
  • wusoule
  • 2013年07月05日 12:25
  • 1192

Reed-Solomon code(15,9)

  • 2011年06月06日 23:58
  • 17KB
  • 下载

Reed-Solomon-Code

  • 2015年08月06日 10:33
  • 27KB
  • 下载

EC---->LRC---->Sparse Erasure Code

副本存储(3副本技术)方案是将一个文件切分成多个Block进行存储,通常一个Block 64MB或者128MB,每个Block有多个(工业界默认3个)副本(replica),每个副本作为一个整体存储在...

HDFS-RAID使用Erasure Code来实现HDFS的数据冗余

转载地址:http://yanbohappy.sinaapp.com/?p=106 目前的HDFS中数据是靠三备份triplication来保证冗余的。显然这只是一个简单有效的方法而不是一个非常el...
  • wk022
  • wk022
  • 2015年10月30日 09:39
  • 331

Erasure code 代替RAID的案例

Erasure code

TFS Erasure code实现方案

TFS发展至今,集群部署总容量已超过50PB,机器数量约2700台。TFS在阿里内部主流部署方式是主集群内数据块2个副本,每个主集群配置两个备集群,分别在同城和异地机房,实际上每份数据6个副本,存储成...
  • cywosp
  • cywosp
  • 2014年04月09日 10:24
  • 2422

基于范德蒙矩阵的Erasure code技术详解

http://alanwu.blog.51cto.com/3652632/1406312  在传统存储领域,随着磁盘容量的不断增大,RAID数据重构时间将会是一个非常严重的问题。大家知道...
  • scdxmoe
  • scdxmoe
  • 2015年11月25日 17:23
  • 1288

基于柯西矩阵的Erasure Code技术详解

原文  http://alanwu.blog.51cto.com/3652632/1410132 一、概述 Erasure Code 可以应用于分布式存储系统中,替代多份数据拷贝的数据...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:RAID的掘墓人和HADOOP/GFS 三备份的替代方案:Erasure code(从Reed Solomon code到LRC/XOR)
举报原因:
原因补充:

(最多只允许输入30个字)