Hadoop 3.0x 内容整理

Hadoop 3.0x官方文档

JDK版本升级

Hadoop 3.0x 所有的JAR编译均是在Java 8 环境下编译的。

HDFS Erasure Coding （EC）

Erasure Coding ：数据恢复的一种编码容错技术。能节省数据副本存储的磁盘空间。相比2.0x版本能节省一半的磁盘空间，但是会消耗更多其他的资源，比如网络带宽或者CPU

有校验数据块和原始数据块两部分。
校验数据块可以通过原始数据进行编码获得，原始数据块可以通过较验数据块解码获得。

对比HDFS副本机制：hdfs默认3副本机制，解决数据丢失的问题，但是造成存储空间浪费。而ES解决了空间浪费的问题。

ES缺点：数据恢复时，需要同时读取原始数据和校验数据，同时涉及编码解码操作加大CPU开销。所以一般来说它被用于存储冷数据、较少访问的数据。

Support for more than 2 NameNodes.

为一个主NameNode和一个备用NameNode提供了HDFS NameNode高可用性的初始实现。通过配置三个JournalNodes，可以实现允许一个NN挂掉的情况。

Hadoop 3.0x 允许用户运行多个备用的名字节点。例如，通过配置三个NameNodes和五个JournalNodes，集群能够容忍两个节点而不是一个节点的失败。