Hadoop02【架构分析，java面试问职业规划

2. 针对Hadoop1.0中的MapReduce在扩展性和多框架支持等方面的不足，它将JobTracker中的资源管理和作业控制分开，分别由ResourceManager（负责所有应用程序的资源分配）和ApplicationMaster（负责管理一个应用程序）实现，即引入了资源管理框架Yarn。

3. Yarn作为Hadoop2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度，不仅限于MapReduce一种框架，也可以为其他框架使用，如Tez、Spark、Storm等

2.从MapReduce框架分析

---

MapReduce1.0

MapReduce1.0计算框架主要由三部分组成：编程模型、数据处理引擎和运行时环境。

| 组成 | 说明 |

| — | :-- |

| 编程模型 | Map和Reduce两个阶段. |

| 数据处理引擎 | 由MapTask和ReduceTask组成 |

| 运行时环境 | 由一个JobTracker和若干个TaskTracker两类服务组成 |

基本编程模型是将问题抽象成Map和Reduce两个阶段。Map阶段将输入的数据解析成key/value，迭代调用map()函数处理后，再以key/value的形式输出到本地目录，Reduce阶段将key相同的value进行规约处理，并将最终结果写到HDFS上。

数据处理引擎由MapTask和ReduceTask组成，分别负责Map阶段逻辑和Reduce阶段的逻辑处理；

运行时环境由一个JobTracker和若干个TaskTracker两类服务组成，其中JobTracker负责资源管理和所有作业的控制，TaskTracker负责接收来自JobTracker的命令并执行它。

MapReducer2.0

MapReducer2.0具有与1.0相同的编程模型和数据处理引擎，唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后，运行于资源管理框架Yarn之上的计算框架MapReduce。它的运行时环境不再由JobTracker和TaskTracker等服务组成，而是变为通用资源管理系统Yarn和作业控制进程ApplicationMaster，其中Yarn负责资源管理的调度而ApplicationMaster负责作业的管理。

小结:
Hadoop1与Hadoop2的区分还是非常大，HDFS和MR都有不同，最起码的配置文件就不一样。项目应用的话，建议尽量往高版本走。稳健一点的话稍低于最高版本的一个稳定版本即可。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

，可以添加下面V无偿领取！（备注Java）**
[外链图片转存中…(img-TCpd5OKx-1710786027197)]