Hadoop Erasure Coding结构分析

前言

---

Hadoop-3.0-alpha2版本最近已经发布了，在Hadoop-3.0-alpha2版本中，社区继续fix了许多关于HDFS EC特性相关的issue。而Hadoop EC作为3.0版本中具有重大意义的feature，我们非常有必要去学习，并用好这个特性。在之前的文章中，笔者或多或少介绍过EC技术的原理知（再聊HDFS Erasure Coding）以及EC技术在Hadoop中的运用（Hadoop 3.0 Erasure Coding 纠删码功能预分析）。最近笔者重新阅读、学习了EC相关的代码，本文将要阐述的是EC在Hadoop整个工程项目中的一个结构，包括各个部分代码结构的组成以及关键代码的实现等等。

EC在Hadoop工程中的结构

---

首先看到这里，有些人可能会疑惑这里为什么不说是EC在HDFS中的结构呢？尽管目前EC的主要使用部分是在HDFS内部，但并不代表EC技术在未来不会被用在其它的组件上。所以社区将EC技术最最基础的部分定义在了Hadoop-Common过程下，例如EC内部中的基础块类，以及编解码算法类等等。

EC另外一部分内容的定义就自然在HDFS组件内了，比如说我们需要定义一个完全针对EC方式的数据流类：DFSStripedInputStream数据输入流类和DFSStripedOutputStream数据输出流类。总的归纳起来一句话，由于EC下的数据的条带式存储方式与原本的副本连续式的存储方式不同，这需要在许多地方做一个适配和改造。所以想要在HDFS内引入EC技术，工程量其实是不少的。笔者大致地阅读了EC相关的代码，主要存在于下面的一些HDFS模块中：

第一个，BlockManager类。EC的引入，需要在BlockManager中做多处的变更。在很多块相关处理的方法内部，需要增加是否为条带块逻辑的判断，

if(block.isStriped()){
    // EC模式下的块处理逻辑
}