大数据(八) --MapReduce运行架构, Yarn资源调度流程

最新推荐文章于 2024-08-09 22:26:50 发布

Apache-Qibao

最新推荐文章于 2024-08-09 22:26:50 发布

阅读量1.6k

点赞数 3

分类专栏：大数据文章标签：大数据 MapReduce 运行架构 Yarn资源调度

本文链接：https://blog.csdn.net/skisqibao/article/details/83148676

版权

本文通过比喻介绍MapReduce应用的运行流程，对比Hadoop1.x和2.x版本的资源调度机制。Hadoop1.x中JobTracker压力大，易出现单点故障，而Hadoop2.x引入Yarn，将资源管理和任务调度分离，实现资源隔离，支持多计算框架并行运行。

摘要由CSDN通过智能技术生成

前言

某天, 某研究机构设计了一款私人飞机图纸, 之后某公司根据该图纸制作出一架私人飞机. 然后某位有钱人士觉得这架飞机非常好, 就花高价钱买下这架飞机. 飞机要想起飞, 需要向空管局申请航线, 申请成功后, 这位富人又雇佣了一位飞行员. 最后飞行员开启飞机, 这位富人如愿坐上心仪的飞机并翱翔天际.

上述流程可以概括为:
设计图纸 --> 私人飞机 --> 空管局(申请航线) --> 雇佣飞行员(驾驶飞机) --> 开启飞机(翱翔天际).

看完上述实例, 再来看某个MapReduce应用的运行流程:

06年, MapReduce这一计算框架纳入Hadoop项目, 逐渐进入人们的眼帘. 一时间各大公司, 开发人员等都在学习使用MapReduce.
某一天, 你基于MapReduce的原理开发了一个Application(应用程序), 并将它放在服务器上运行. 运行开始后, App先向资源管理器申请资源, 资源申请成功后, App又去找任务调度器, 让它安排一个可以调度App的任务. 最后task执行App, 完成分布式计算.

上述流程可以概括为:
MapReduce框架 --> Application --> 资源调度器(申请资源) --> 任务调度器(执行App) --> 分布式并行计算.

既然程序的执行需要资源调度器和任务调度器, 那么MapReduce在各个节点上又是怎么运行的呢?
在之前的文章Hadoop简介中, 也曾提到过Hadoop两大版本的组成是不一样的, 不一样的最大区别就在于MapReduce应用程序运行时资源和任务的调度上. 接下来, 来看这两大版本是如何调度的.