论文 XORing Elephants: Novel Erasure Codes for Big Data 全文翻译

目录

XORing Elephants：用于大数据的新型纠删码... 3

1 介绍... 3

1.1维修的重要性... 5

2 理论贡献... 6

2.1 LRC在Xorbas中的实现... 8

3 系统描述... 9

3.1 HDFS-Xorbas. 10

3.1.1 编码... 11

3.1.2 解码和修复... 11

4 可靠性分析... 12

5 评估... 14

5.1 评估指标... 14

5.2 亚马逊EC2. 15

5.2.1 HDFS字节读取... 16

5.2.2 网络流量... 16

5.2.3 修复时间... 17

5.2.3 工作负载下的修复... 18

5.3 Facebook的集群... 19

6 相关工作... 20

7 结论... 21

8 研究动机... 21

9 研究问题... 22

10 核心贡献... 22

 

 

 

 

 

 

 

 

 

XORing Elephants：用于大数据的新型纠删码

摘要

大型集群的分布式存储系统通常使用复制来提供可靠性。最近，纠删码被用来减少三副本系统的大存储开销。Reed-Solomon编码是标准的设计选择，其高昂的修复成本通常被认为是为高存储效率和高可靠性所付出的不可避免的代价。

本文介绍了如何克服这一局限。 我们提出了一种新的纠删码簇，与Reed-Solomon码相比，它们具有高效可修复性和更高的可靠性。分析表明，我们的编码在最近确定的局部性和最小距离之间的权衡中是最佳的。

我们在Hadoop HDFS中实现新编码，并与当前部署的使用Reed-Solomon编码的HDFS模块进行比较。 我们修改的HDFS实现表明修复磁盘I / O和修复网络流量减少了大约2倍。 新编码方案的缺点是与Reed-Solomon码相比，它需要多14％的存储空间，对于获得的局部性，这种开销在信息理论上是最佳的。由于新编码可以更快地修复故障，因此可提供更高的可靠性，与复制相比，这些可靠性高出几个数量级。

1 介绍

MapReduce架构由于其高可扩展性的特点，越来越受到大数据管理的欢迎。在Facebook，大型分析集群存储PB字节的信息，并使用Hadoop MapReduce处理多个分析工作。标准实现依赖于分布式文件系统，该系统通过利用三块副本提供可靠性。复制的主要缺点是存储开销非常大，高达200%，这反映了集群成本。随着管理数据量的增长快于数据中心基础设施，这种开销正成为一个主要瓶颈。

由于这个原因，Facebook和其他许多公司正在转向纠删码技术(通常是经典的Reed-Solomon编码)，以便在节省存储空间的同时引入冗余[4,19]，尤其是对于本质上更具有归档性质的数据。在本文中，我们证明了经典编码在分布式MapReduce架构中是非常不理想的。我们引入了新的纠删码，以解决分布式数据可靠性和信息理论边界的主要挑战，这也表明我们的结构是最优的。我们依赖于使用Hadoop MapReduce进行数据分析的大型Facebook生产集群(超过3000个节点，30 PB的逻辑数据存储)的度量。Facebook最近开始部署一个名为HDFS RAID([2,8])的开源HDFS模块，它依赖Reed-Solomon (RS)码。在HDFS RAID中，“冷”文件(即，很少访问)的复制因子被降为1，一个新的奇偶校验文件被创建，由奇偶校验块组成。

使用Facebook群集的参数，每个大文件的数据块被分组为10个条带，并且对于每个这样的集合，创建4个奇偶校验块。该系统（称为RS（10,4））可以容忍任何4个块故障，并且存储开销仅为40％。 因此，与复制相比，RS代码更加强大且存储效率更高。 事实上，对于这种可靠性水平，这种存储开销可能是最小的[7]。 实现这种最佳存储可靠性的编码。 被称为最大距离可分离（MDS）[32]并且Reed Solomon编码[27]构成了最广泛使用的MDS家族。

由于所谓的修复问题：当单个节点发生故障时，通常会从存储在该节点中的每个条带中丢失一个块。 RS代码通常使用简单的方法进行修复，即使单个块丢失也需要传输10个块并重新创建原始的10个数据块[28]，从而在修复带宽和磁盘I / O中产生10倍的开销。经典的纠删码对于分布式环境来说是次优的。

最近，信息论的研究结果表明，与单纯的[6]方法相比，用较小的网络带宽修复擦除码是可行的。最近有大量关于设计这种有效可修复编码的工作，有关该文献的概述，请参见第6节。

我们的贡献：我们引入了一组称为局部可修复编码（LRCs）的新的纠删码，它们在网络带宽和磁盘I/O方面都是有效可修复的。 我们分析表明，就它们的局部性而言（例如，修复单个块故障所需的其他块的数量），我们的编码在理论上是最佳的。从广义Reed-Solomon奇偶性开始，我们提出了随机的和显式的LRC结构。 我们还设计并实现了HDFS-Xorbas，这是一个用HDFSRAID中的LCs替换Reed-Solomon码的模块。我们通过在Amazon EC2和Facebook中的一个集群上的实验来评估HDFS-Xorbas。 请注意，虽然LRCs是针对任何条带和奇偶校验大小定义的，但我们的实验评估是基于RS（10,4）及其对（10,6,5）LRC的扩展，以便与当前的生产集群进行比较。

我们的实验表明，与目前生产中使用的Reed-Solomon编码相比，Xorbas可将修复磁盘I / O和网络流量减少约2倍。 新代码的缺点在于，与RS相比，它需要多14％的存储空间，对于获得的局部性，这种开销在信息理论上是最佳的。