Yarn 资源调度器详解以及什么是调度器介绍遇到任务卡顿如何处理

最新推荐文章于 2024-05-22 08:42:12 发布

yidianyidei

最新推荐文章于 2024-05-22 08:42:12 发布

阅读量541

点赞数

分类专栏：从零开始学习大数据-Haddop 文章标签： hadoop

本文链接：https://blog.csdn.net/yidianyidei/article/details/107713022

版权

从零开始学习大数据-Haddop 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

文章目录

Yarn 资源调度器

Yarn 资源调度器

Hadoop 分三个部分组成：HDFS,MapReduce Yarn

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

Yarn 基本架构

在这里插入图片描述

* Yarn 工作机制

在这里插入图片描述
MR（MapReduce）程序提交到客户端所在的节点------MapReduce 要做业了-地图如下

在这里插入图片描述
1 YarnRunner向ResourceManager申请一个Application-------2 RM(ResourceManager)将该应用程序的资源路径返回给YarnRunner -------3该程序将运行所需资源提交到HDFS上 -----4 程序资源提交完毕后，申请运行mrAppMaster --------- 5 RM将用户的请求初始化成一个Task ----- 6 其中一个NodeManager领取到Task任务 -------- 7 该NodeManager创建容器Container，并产生MRAppmaster ------ 8 Container从HDFS上拷贝资源到本地 --------9 MRAppmaster向RM 申请运行MapTask资源 ------10 RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。------11 -MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序 使用完毕释放回收资源-------- 12 MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask ---------- 13 ReduceTask向MapTask获取相应分区的数据 使用完毕释放回收资源-----14 程序运行完毕后，MR会向RM申请注销自己

在这里插入图片描述

资源调度器

目前，Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。

FIFO 先进先出调度器

在这里插入图片描述
假设有个任务很小还很紧急，但是有个任务很大很不紧急，但是在前面要先跑他那你想跑这个很小很急那只能把前面跑的那个很大杀死

容量调度器 Capacity Scheduler

*多个FIFO 并行====容量调度器*

在这里插入图片描述

** Fair Scheduler 公平调度器（灵活）

问

如果能回答上公平调度器相关最好，如果想不起就说用Hadoop2.7.2默认的资源调度器Capacity Scheduler 容量调度器
在这里插入图片描述

任务的推测执行

在这里插入图片描述
找执行最慢任务给他执行一个备份任务，去看谁先干完用谁的，

1．作业完成时间取决于最慢的任务完成时间

一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件Bug等，某些任务可能运行非常慢。

思考：系统中有99%的Map任务都完成了，只有少数几个Map老是进度很慢，完不成，怎么办？

2．推测执行机制

发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果。

3．执行推测任务的前提条件

（1）每个Task只能有一个备份任务

（2）当前Job已完成的Task必须不小于0.05（5%）

（3）开启推测执行参数设置。mapred-site.xml文件中默认是打开的。

<property>

  <name>mapreduce.map.speculative</name>

  <value>true</value>

  <description>If true, then multiple instances of some map tasks may be executed in parallel.</description>

</property>

 

<property>

  <name>mapreduce.reduce.speculative</name>

  <value>true</value>

  <description>If true, then multiple instances of some reduce tasks may be executed in parallel.</description>

</property>