大数据：02 Hadoop架构与版本差别

Hadoop架构与版本差别

前言

 首先我们得明确Hadoop框架所解决的最核心的2个问题：海量数据的存储和计算。在存储上，Hadoop实现了自己的分布式文件系统 HDFS（Hadoop Distributed File System）；在计算上，Hadoop使用了分布式离线计算框架 MapReduce。

1、Hadoop1.x架构

 Hadoop1.x由Common（辅助工具）、HDFS（数据存储）、MapReduce（计算+资源调度）组成。

2、Hadoop2.x架构

 Hadoop2.x由Common（辅助工具）、HDFS（数据存储）、MapReduce（计算）、Yarn（资源调度） 组成。

3、区别

 由上可见，2.x与1.x的主要区别在于2.x将资源调度细化了出来，交由Yarn负责，而MapReduce只负责计算。使得2.x较1.x 耦合性 更低。