大数据之Hadoop--Yarn

最新推荐文章于 2024-07-19 17:17:26 发布

煜筱子

最新推荐文章于 2024-07-19 17:17:26 发布

阅读量117

点赞数

文章标签：大数据 yarn hadoop Powered by 金山文档

本文链接：https://blog.csdn.net/weixin_48205015/article/details/129365586

版权

Yarn基本架构

YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）NodeManager（NM）、ApplicationMaster（AM）。

ResourceManager负责所有资源的监控、分配和管理；
ApplicationMaster负责每一个具体应用程序的调度和协调；
NodeManager负责每一个节点的维护。

对于所有的applications，RM拥有绝对的控制权和对资源的分配权。而每个AM则会和RM协商资源，同时和NodeManager通信来执行和监控task。

Yarn三大组件介绍

2.1 ResourceManager

ResourceManager负责整个集群的资源管理和分配，是一个全局的资源管理系统。

NodeManager以心跳的方式向ResourceManager汇报资源使用情况（目前主要是CPU和内存的使用情况）。RM只接受NM的资源回报信息，对于具体的资源处理则交给NM自己处理。

YARN Scheduler根据application的请求为其分配资源，不负责application job的监控、追踪、运行状态反馈、启动等工作。

2.2 NodeManager

NodeManager是每个节点上的资源和任务管理器，它是管理这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控。YARN集群每个节点都运行一个NodeManager。

NodeManager定时向ResourceManager汇报本节点资源（CPU、内存）的使用情况和Container的运行状态。当ResourceManager宕机时NodeManager自动连接RM备用节点。

NodeManager接收并处理来自ApplicationMaster的Container启动、停止等各种请求。

2.3 ApplicationMaster

用户提交的每个应用程序均包含一个ApplicationMaster，它可以运行在ResourceManager以外的机器上。

负责与RM调度器协商以获取资源（用Container表示）。

将得到的任务进一步分配给内部的任务(资源的二次分配)。

与NM通信以启动/停止任务。

监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

当前YARN自带了两个ApplicationMaster实现，一个是用于演示AM编写方法的实例程序DistributedShell，它可以申请一定数目的Container以并行运行一个Shell命令或者Shell脚本；另一个是运行MapReduce应用程序的AM—MRAppMaster。

注：RM只负责监控AM，并在AM运行失败时候启动它。RM不负责AM内部任务的容错，任务的容错由AM完成。

Yarn运行流程

1、Client向ResourceManager提交任务，实际上是提交给了ResourceManager的Applications Manager。

2、ResourceManager会在某一台机器上分一个Container（node1，内存1G,cpu2核），并在Container中启动应用的管理者ApplicationMaster,ApplicationMaster负责整个MapRedue的执行过程。

3、ApplicationMaster向ResourceManager进行注册，启动成功后与RM保持心跳（每隔一段时间App master向RM发一个包，告诉RM，我还活着），App Master注册之后，后期还需要向RM申请资源（要钱）.

4、App Master向RM中的Scheduler申请资源，申请多少个Container（3个Container）,RM中的组件Scheduler收到AppMaster申请之后，会合计当前集群的资源（内存，CPU）是否满足，如果满足，则会根据一定的策略来生成一个Container列表，并将该Container列表发送给App Master

5、当App Master收到Container列表之后，则分别和对应的主机建立联系，要求这些主机分配资源，这些NodeManager收到AppMaster的请求之后，无条件的开辟资源。

6、AppMaster会在各个NodeManager开辟的Container中开始执行具体任务：mapTask和reduceTask

任务执行过程中，AppMaster需要时刻关注任务的执行状态。

7、各个NodeManager需要将任务的执行情况汇报给AppMaster

8、当任务执行完成，AppMaster向RM的Applications Manager组件申请注销，当注销之后，这个AppMaster拥有的所有个Container资源将会被回收

Yarn 调度器Scheduler

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。

在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。

4.1 FIFO Scheduler

FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。

FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。

4.2 Capacity Scheduler

Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外，队列内部又可以垂直划分，这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。

容量调度器Capacity Scheduler 最初是由 Yahoo 最初开发设计使得 Hadoop 应用能够被多用户使用，且最大化整个集群资源的吞吐量，现被 IBM BigInsights 和 Hortonworks HDP 所采用。

Capacity Scheduler 被设计为允许应用程序在一个可预见的和简单的方式共享集群资源，即"作业队列"。Capacity Scheduler 是根据租户的需要和要求把现有的资源分配给运行的应用程序。Capacity Scheduler 同时允许应用程序访问还没有被使用的资源，以确保队列之间共享其它队列被允许的使用资源。管理员可以控制每个队列的容量，Capacity Scheduler 负责把作业提交到队列中。