1.Yarn基础_介绍

最新推荐文章于 2021-10-19 17:32:54 发布

qq_15014327

最新推荐文章于 2021-10-19 17:32:54 发布

阅读量245

点赞数

分类专栏： Yarn

本文链接：https://blog.csdn.net/qq_15014327/article/details/83033540

版权

4 篇文章 0 订阅

订阅专栏

Apache Hadoop YARN 一种新的Hadoop资源管理器，为上层提供统一的资源管理与任务调度及监控，提高集群管理效率、资源使用率、数据共享效率。MapReduce已经在hadoop-0.23上进行了全面检修，称之为MapReduce 2.0(MRv2)或YARN。
MRv2的基本思想是将JobTracker的两个主要功能，资源管理和作业调度/监视分成单独的守护进程。

由上图可知，

MRv1主要由JobTracker和TaskTracker组成。

JobTracker主要功能：

TaskTracker主要功能：

MRv2主要由ResourceManager、NodeManager、ApplicationMaster和Container组成。

ResourceManager，简称RM。整个集群同一时间提供服务的RM只有一个，它负责集群资源的统一管理和调度。以及还需要处理客户端的请求，例如：提交作业或结束作业等。并且监控集群中的NM，一旦某个NM挂了，那么就需要将该NM上运行的任务告诉AM来如何进行处理。
NodeManager，简称NM。整个集群中会有多个NM，它主要负责自己本身节点的资源管理和使用，以及定时向RM汇报本节点的资源使用情况。接收并处理来自RM的各种命令，例如：启动Container。NM还需要处理来自AM的命令，例如：AM会告诉NM需要启动多少个Container来跑task。
ApplicationMaster，简称AM。每个应用程序都对应着一个AM。例如：MapReduce会对应一个、Spark会对应一个。它主要负责应用程序的管理，为应用程序向RM申请资源（Core、Memory），将资源分配给内部的task。AM需要与NM通信，以此来启动或停止task。task是运行在Container里面的，所以AM也是运行在Container里面。
Container，封装了CPU、Memory等资源的一个容器，相当于是一个任务运行环境的抽象。