Hadoop系统中的单点故障解决方案总结

相较与Hadoop1.0，Hadoop2.0提供了比较完整的单点故障解决方案（Hadoop HA）

Hadoop2.0内核由三个分支组成：HDFS、MapReduce和YARN，其他的Hadoop生态系统组件比如：HBase、Hive、Pig等，均是基于这三个系统开发的。

因此在Hadoop2.0，存在着三个子系统的单点故障问题。

正式介绍解决方案之前，先简要回顾这三个子系统：

（1）HDFS：即分布式存储系统。由NameNode和DataNode组成，其中NameNode存储了元数据信息和操作日志，由于它是唯一的，其可用性直接决定了整个存储系统的可用性。

（2）YARN：Hadoop2.0中新引入的资源管理系统，它的引入使得Hadoop不再局限于只进行MapReduce这一类的计算，从而支持了多样化的计算框架。它由ResourceManager和NodeManager组成，其中ResourceManager作为整个系统的唯一组件，存在单点故障问题。

（3）MapReduce：目前存在两种MapReduce实现：一种是可独立运行的MapReduce，它由JobTracker和TaskTracker两部分组成，其中JobTracker存在单点故障问题；另一种是MapReduce On YARN，在这种实现中，每个作业独立使用一个作业跟踪器（ApplicationMaster