详解Hadoop3.x新特性功能-HDFS纠删码

最新推荐文章于 2024-07-14 10:20:05 发布

五分钟学大数据

最新推荐文章于 2024-07-14 10:20:05 发布

阅读量965

点赞数

分类专栏： hadoop hadoop3.x新特性文章标签：大数据

本文来自微信公众号：五分钟学大数据，转载请在公众号后台获取作者微信进行授权

本文链接：https://blog.csdn.net/helloHbulie/article/details/110698477

版权

hadoop 同时被 2 个专栏收录

5 篇文章 1 订阅

订阅专栏

hadoop3.x新特性

1 篇文章 0 订阅

订阅专栏

本文首发于微信公众号：五分钟学大数据

EC介绍

Erasure Coding 简称EC，中文名：纠删码

EC（纠删码）是一种编码技术，在HDFS之前，这种编码技术在廉价磁盘冗余阵列（RAID）中应用最广泛(RAID介绍：大数据预备知识-存储磁盘、磁盘冗余阵列RAID介绍)，RAID通过条带化技术实现EC，条带化技术就是一种自动将 I/O 的负载均衡到多个物理磁盘上的技术，原理就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去，这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突（当多个进程同时访问一个磁盘时，可能会出现磁盘冲突），而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的 I/O 并行能力，从而获得非常好的性能。在HDFS中，把连续的数据分成很多的小部分称为条带化单元，对于原始数据单元的每个条带单元，都会计算并存储一定数量的奇偶检验单元，计算的过程称为编码，可以通过基于剩余数据和奇偶校验单元的解码计算来恢复任何条带化单元上的错误。

HDFS数据冗余存储策略

HDFS的存储策略是副本机制，这种存储方式使得数据存储的安全性得到提高，但同时也带来了额外的开销，HDFS默认的3副本方案在存储空间和其他资源（如网络带宽）上有200%的额外开销，但是对于I/O活动相对较低的数据，在正常期间很少访问其他块副本，但是仍然消耗与第一个副本相同的资源量。因此，HDFS 3.x版本一个重大改进就是使用纠删码（EC）代替副本机制，纠删码技术提供了与副本机制相同的容错能力，而存储空间却少得多。在典型的纠删码（EC）设置中，存储开销不超过50%。

EC算法实现原理

EC的实现算法有很多种，较为常见的一种算法是Reed-Solomon（RS），它有两个参数，记为RS(k,m)，k表示数据块，m表示校验块，有多少个校验块就最多可容忍多少个块（包括数据块和校验块）丢失，具体原理通过如下例子解释：

我们使用RS(3,2)，表示使用3个原始数据块，2个校验块
例：有 7、8、9 三个原始数据，通过矩阵乘法，计算出来两个校验数据 50、122。这时原始数据加上校验数据，一共五个数据：7、8、9、50、122，可以任意丢两个，然后通过算法进行恢复

GT是生成矩阵，RS(k,m)的生成矩阵就是m行k列的矩阵
Data代表原始数据，7,8,9代表原始数据块
Parity代表校验数据，50,122代表校验数据块

所以3个原始数据块，如果使用2个校验块，EC编码总共占用5个数据块的磁盘空间，与2副本机制占用6个数据块的磁盘空间容错能力相当。

EC的应用场景

将EC技术集成进HDFS可以提高存储效率，同时仍提供与传统的基于副本的HDFS部署类似的数据持久性。例如，一个具有6个块的3副本文件将消耗 6 * 3 = 18 个磁盘空间。但是，使用EC(6个数据，3个校验)部署时，它将仅消耗9个磁盘空间块。

但是EC在编码过程及数据重建期间会大量的使用CPU资源，并且数据大部分是执行远程读取，所以还会有大量的网络开销。

所以，对于CPU资源紧张且存储成本较低的情况下，可以采用副本机制存储数据，对于CPU资源有剩余且存储成本较高的情况下，可以采用EC机制存储数据。

EC在HDFS的架构

HDFS是直接使用Online EC（以EC格式写入数据），避免了转换阶段并节省了存储空间。Online EC还通过并行利用多个磁盘主轴来增强顺序I / O性能。在具有高端网络的群集中，这尤其理想。其次，它自然地将一个小文件分发到多个DataNode，而无需将多个文件捆绑到一个编码组中。这极大地简化了文件操作，例如删除，磁盘配额以及namespaces之间的迁移。

在一般HDFS集群中，小文件可占总存储消耗的3/4以上，为了更好的支持小文件，HDFS在第一阶段支持条形布局（Striping Layout）的EC方案，目前HDFS连续布局（Contiguous Layout）方案也在进行中

条形布局：

条形布局

优点：

客户端缓存数据较少
无论文件大小都适用

缺点：

会影响一些位置敏感任务的性能，因为原先在一个节点上的块被分散到了多个不同的节点上
和多副本存储策略转换比较麻烦

连续布局：

连续布局

优点：

容易实现
方便和多副本存储策略进行转换

缺点：

需要客户端缓存足够的数据块
不适合存储小文件

传统模式下HDFS中文件的基本构成单位是block，而EC模式下文件的基本构成单位是block group。以RS(3,2)为例，每个block group包含3个数据块，2个校验块。

HDFS对于引入EC模式所做的主要扩展如下：

NameNode：HDFS文件在逻辑上由block group组成，每个block group包含一定数量的内部块，为了减少这些内部块对NameNode内存消耗，HDFS引入了新的分层块命名协议。可以从其任何内部块的ID推断出block group的ID。这允许在块组而不是块的级别进行管理
Client：客户端读取和写入路径得到了增强，可以并行处理block group中的多个内部块
DataNode：DataNode运行额外ErasureCodingWorker（ECWorker）任务，用于对失败的纠删编码块进行后台恢复。NameNode检测到失败的EC块，会选择一个DataNode进行恢复工作。此过程类似于失败时如何重新恢复副本的块。重建执行三个关键的任务节点：
1. 从源节点读取数据：使用专用线程池从源节点并行读取输入数据。基于EC策略，对所有源目标的发起读取请求，并仅读取最少数量的输入块进行重建。
2. 解码数据并生成输出数据：从输入数据解码新数据和奇偶校验块。所有丢失的数据和奇偶校验块一起解码。
3. 将生成的数据块传输到目标节点：解码完成后，恢复的块将传输到目标DataNodes。
纠删码策略：为了适应异构的工作负载，HDFS群集中的文件和目录允许具有不同的复制和纠删码策略。纠删码策略封装了如何对文件进行编码/解码。每个策略由以下信息定义：
1. EC模式：这包括EC组（例如6 + 3）中的数据和奇偶校验块的数量，以及编解码器算法（例如Reed-Solomon，XOR）。
2. 条带化单元的大小。这确定了条带读取和写入的粒度，包括缓冲区大小和编码工作。

我们可以通过XML文件定义自己的EC策略，该文件必须包含以下三个部分：

layoutversion：这表示EC策略XML文件格式的版本。
schemas：这包括所有用户定义的EC模式。
policies：这包括所有用户定义的EC策略，每个策略均由schema id和条带化单元的大小（cellsize）组成。

Hadoop conf目录中有一个配置EC策略的XML示例文件，配置时可以参考该文件，文件名称为user_ec_policies.xml.template。

集群的硬件配置

纠删码对群集在CPU和网络方面提出了其他要求：

编码和解码工作会消耗HDFS客户端和DataNode上的额外CPU。
纠删码文件也分布在整个机架上，以实现机架容错。这意味着在读写条带化文件时，大多数操作都是在机架上进行的。因此，网络二等分带宽非常重要。
对于机架容错，拥有至少与配置的EC条带宽度一样多的机架也很重要。对于EC策略RS（6,3），这意味着最少要有9个机架，理想情况下是10或11个机架，以处理计划内和计划外的中断。对于机架少于条带宽度的群集，HDFS无法保持机架容错，但仍将尝试在多个节点之间分布条带化文件以保留节点级容错。

最后

在HDFS默认情况下，所有的EC策略是被禁止的，我们可以根据群集的大小和所需的容错属性，通过hdfs ec [-enablePolicy -policy]命令启用EC策略。例如，对于具有9个机架的群集，像RS-10-4-1024k这样的策略将不会保留机架级的容错能力，而RS-6-3-1024k或RS-3-2-1024k可能更合适。

在副本机制下，我们可以设置副本因子，指定副本的数量，但是在EC策略下，指定副本因子是没有意义的，因为它始终为1，无法通过相关命令进行更改。