Hadoop再探讨

Hadoop优化与发展

Hadoop的优化与发展主要体现在两个方面：

1. Hadoop自身架构的设计与改进
2. Hadoop生态系统的组件的丰富

HDFS 2.0新特性

相对HDFS1.0来说，HDFS2.0主要增加了 HDFS HA 和 HDFS联邦 新特性。

HDFS HA

第二名称节点 无法提供热备份功能，存在单点故障问题。所以引入HA。

HA 解决单点故障问题，提供热备份功能，

一个典型的HDFS HA集群中，一般设置两个名称节点，一个处于 活跃(Active)状态，另一个处于 待命(Standby)状态。

HDFS联邦

联邦可以解决 可扩展性、系统整体性能 和 隔离性 3个问题。

新一代资源管理调度框架YARN

YARN 只是 资源管理调度框架，不是一个计算框架。

MapReduce2.0是运行在YARN之上的计算框架，由YARN来为MapReduce提供资源管理调度服务。

YARN的体系结构包括三个组件：ResourceManager，NodeManager，ApplicationMaster。

YARN可以实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架。