Hadoop1.x和2.x的区别

hadoop1.x和2.x的区别

1.X版: HDFS集群 + MapReduce集群.
2.X版: HDFS集群 + Yarn资源调度平台 + MapReduce集群.

HDFS的区别：
1.1 文件切块block由64M变成了128M
1.2 1.x版本里Namenode只有一个节点，容易出现单点故障
2.x版本里Namenode可以有多个节点，解决了单点故障
MapReduce的区别：
2.1 1.x是mr集群，主要是由JobTracker 和TaskTracker组成JobTracker负责资源和任务的分配，任务繁重，当任务量大的时候容易宕机。
容易出现单点故障，并不能部署多个JobTracker节点
1.x 在 jobTracker上, 只能运行MR任务。

2.2 2.x是yarn集群 解决了以上的问题将JobTracker变成了ResourceMananger ,只分配资源，任务的分配交给了AppMaster,减少了它的工作量。
支持部署多个RM节点，解决了单点故障问题，一般部署两个RM 。
2.x可以运行其他的计算框架运行在yarn集群, 有yarn集群统一的资源分配 : MR spark storm …