Hadoop2.0架构

打开Hadoop的官网，我们可以看到Hadoop2.0包括两个module：
HDFS – Hadoop File System。
YARN – Yet Another Resource Negotiator 也称为MapReduce2.0，即MPv2

其中HDFS是底层的存储系统。不仅Hadoop的底层存储可以使用HDFS，其他分布式计算系统也可以使用HDFS作为底层存储系统。HDFS与在Hadoop1.0中有一些大的变化。而Hadoop2.0最重要的变化是新抽象出来的YARN，即独立的分布式资源管理与调度系统。YARN的出现主要为了解决Hadoop1.0中NameNode的瓶颈问题。了解Hadoop1.0的同学知道，在1.0中NameNode既是HDFS的主控服务器，也是JobTracker之所在，因此负载很高且容易单点失败。另外MapReduce作为分布式批处理计算范型，在2.0中没有什么改变。对Hadoop1.0不了解的同学建议先看看1.0的架构，这样有助于对2.0的理解：
http://blog.csdn.net/onlyqi/article/details/50478997
下面我们分别就HDFS和YARN做进一步讨论。

HDFS
首先我们来看HDFS的架构：

大概描述是：HDFS仍然采用master/slave模式。主控节点仍然是NameNode，从节点仍然是多个DataNode。NameNode记录数据集的元数据。由于每个大文件lo