Hadoop学习之yarn

最新推荐文章于 2022-08-02 17:40:03 发布

Quinto0

最新推荐文章于 2022-08-02 17:40:03 发布

阅读量247

点赞数

分类专栏： hadoop 文章标签： hadoop mapreduce yarn job提交资源调度

本文链接：https://blog.csdn.net/weixin_43786255/article/details/99166930

版权

hadoop 专栏收录该内容

7 篇文章 1 订阅

订阅专栏

Hadoop学习之YARN

1 YARN简介

1.1 概述

YARN （Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

YARN 是 Hadoop2.x 版本中的一个新特性。是为了解决第一代 MapReduce 编程框架的不足，提高集群环境下的资源利用率，使其具有更好的扩展性，可用性，可靠性，向后兼容性，以及能支持除 MapReduce 以外的更多分布式计算程序。

YARN 并不清楚用户提交的程序的运行机制，与运行的用户程序完全解耦，YARN 上可以运行各种类型的分布式运算程序（MapReduce 只是其中的一种），比如 MapReduce、Storm 程序，Spark 程序等，只要他们各自的框架中有符合YARN 规范的资源请求机制即可，所以yarn 就成为一个通用的资源调度平台，各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享。

1.2 产生背景

Hadoop1.x 版本中是没有yarn的，两大核心组件为HDFS和MapReduce，HDFS负责分布式存储，MapReduce负责分布式计算，即负责编程又负责计算（编程套路+计算流程），计算流程的资源都是有MapReduce调度的，MapReduce在进行任务运算的时候是分为两个进程的jobtracker和tasktracker。

jobtracker：计算的主节点，存在单点故障。主要任务有①既要负责整个集群的资源调度，在每一个集群中还要执行多个mr任务；②还要负责每个任务启动以及进度跟踪，mapreduce任务，跟踪maptask和reducetask的进度。

tasktracker：计算的从节点，提供资源，负责计算。将整个节点的资源分为2部分mapslot和reduceslot，当只有 maptask 时，reduceslot 不能用；当只有 reducetask 时，maptask 不能用，资源极大的浪费。

缺陷总结：

①单点故障，可靠性低

②扩展性差

③资源利用率低

④资源调度只能为MapReduce服务，计算框架的资源调度使用受限

因为hadoop1.x的以上缺陷，hadoop2.x引入了yarn，yarn的最基本的想法是将资源调度和进度跟踪分开，hadoop2.x中mapreduce负责编程套路（逻辑），yarn 负责资源调度。

2 YARN的架构

（1）ResourceManager：主节点，负责接收客户端的请求，提供资源调度，负责整个集群的资源调度。它主要由两个组件构成：ASM（ApplicationsManager，应用程序管理器）和Scheduler（调度器）。

应用程序管理器（ASM）：负责所有任务的管理，每一个任务的启动销毁，每一个任务的进度跟踪，管理每一个应用程序的MRAppMaster（即负责每一个MRAppMaster 启动和销毁，跟踪MRAppMaster 运行状态，失败尝试重启）。

MRAppMaster（MapReduce Application Master）：MapReduce 中，每一个应用程序运行的时候，先启动MRAppMaster负责管理整个应用程序，它的主要工作有：①帮助当前应用程序申请资源；②启动maptask和reducetask，③跟踪maptask任务和reducetask任务的运行状态和进度；④进行maptask和reducetask 资源的回收。

调度器（Scheduler）：决定的任务的执行顺序

Yarn中的三种调度器如下：

①FIFO（First In First Out）：队列调度器

内部维护的是单一的队列，哪一个任务先提交，就先进行资源分配，任务运行。

缺点：如果前面有一个大任务后面的任务阻塞。

②FAIR：公平调度器

只有这一个job在运行，此时它获得了所有集群资源；当有多个任务时，所有任务平分资源。

缺点：没有根据任务大小进行资源分配

③CAPACITY：容器调度器

也称为计算能力调度器，可以根据任务，需要或公司每个组的真是需要，手动配置资源占比。如组1为测试组，占20% ，组2为生产占80%。每个组的内部维护了多个队列，每一个队列，都是FIFO 。

调度器总结：CAPACITY是apache版本默认使用的调度器，FAIR是CDH版本的hadoop默认使用的调度器，使用哪种调度器取决于yarn-site.xml当中的yarn.resourcemanager.scheduler.class 属性。

（2）NodeManager：从节点，真正的资源提供者，为计算任务提供资源，需要资源的时候提供，运行完成时回收资源，动态提供资源是以container为单位提供，一个container对应一个maptask或一个reducetask。