hadoop1.x和hadoop2.x的区别

1.组成

hadoop1.x有common、mapreduce、hdfs
hadoop2.x有common、mapreduce、hdfs、yarn
hadoop1.x的mapreduce负责计算、资源调度
hadoop2.x的mapreduce负责计算、yarn负责资源调度

2.功能

1、 HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；

首先HDFS 的NameNodes 可以以集群的方式布署，增强了NameNodes 的水平扩展能力和可用性，可以同时部署多个NameNode ，这些NameNodes 之间是相互独立，也就是说他们不需要相互协调，DataNode 同时在所有NameNodes 注册，做为他们共有的存储节点，并定时向所有的这些NameNodes 发送心跳块使用情况的报告，并处理所有NameNodes 向其发送的指令。

2、 MapReduce将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的组件，并更名为YARN（Yet Another Resource Negotiator）。

再者MapReduce 将JobTracker 中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的组件，并更名为YARN （Yet Another Resource Negotiator ）。MapReduce 在Hadoop2中称为MR2或YARN ，将JobTracker 中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的服务，用于管理全部资源的ResourceManager 以及管理每个应用的ApplicationMaster ，ResourceManager 用于管理向应用程序分配计算资源，每个ApplicationMaster 用于管理应用程序、调度以及协调。