Hadoop Raid-实战经验总结

分布式文件系统用于解决海量数据存储的问题，腾讯大数据采用 HDFS ( Hadoop分布式文件系统)作为数据存储的基础设施，并在其上构建如 Hive 、 HBase 、Spark 等计算服务。

HDFS 块存储采用三副本策略来保证数据可靠性，随着数据量的不断增长，三副本策略为可靠性牺牲的存储空间也越来越大。如何在不降低数据可靠性的基础上，进一步降低存储空间成本，成为腾讯大数据迫切需要解决的问题。

我们对 facebook 版本的 hadoop raid 分析发现，还有很多细节需要优化改进，本文就 hadoop raid 存在的问题进行探讨，并对一些可以改进的地方给出思路。

首先介绍一下 hadoop raid 的原理和架构：
原理分析

HDFS Raid 以文件为单位计算校验，并将计算出来的校验 block 存储为一个 HDFS文件。 HDFS Raid 支持 XOR 和 RS 两种编码方式，其中 XOR 以位异或生成校验信息;而 RS 又称里所码，即 Reed-solomon codes ，是一种纠错能力很强的信道编码，被广泛应用在 CD 、 DVD 和蓝光光盘的数据纠错当中。

HDFS 为每个 block 创建 3 个副本，可以容忍 2 个 block 丢失，因此存储空间为数据量的 3 倍。而采用 RS 编码，如按条带( Stripe length )和校验块( Parity block )个数比例为 10,4 计算，则只需要 1.4 倍的存储开销，就可以容忍同一条带内任意 4 个block 丢失，即存储量可以节省 16/30 。
Hadoop Raid 架构

DRFS

l DRFS ：应用 Raid 方案后的 HDFS

l RaidNode ：根据配置路径，对需要 Rai