Hadoop YARN的基本组成和工作流程

最新推荐文章于 2023-05-21 14:04:02 发布

YOUNG_DATA

最新推荐文章于 2023-05-21 14:04:02 发布

阅读量354

点赞数 1

本文链接：https://blog.csdn.net/yangluyyy/article/details/95939083

版权

Hadoop YARN是一个通用的资源管理平台，旨在分离资源管理与作业调度，通过全局的ResourceManager和应用管理器ApplicationMaster实现。YARN支持MapReduce、Storm、Spark等多种计算框架，资源以Container形式进行统一管理和调度，并采用Cgroups进行资源隔离。工作流程包括客户端提交应用、ResourceManager分配Container、NodeManager执行任务、ApplicationMaster协调任务等步骤。

摘要由CSDN通过智能技术生成

	Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

介绍：
①YARN（Yet Another Resource Negotiator）
②通用的资源管理平台
③为各类计算框架提供资源的管理和调度
④核心出发点为了分离资源管理、作业调度/监控
⑤实现分离的做法是拥有一个全局的资源管理器（ResourceManager）
⑥每一个应用程序对应一个应用管理器（ApplicationMaster）
⑦应用程序由一个作业（job）或者job的有向无环图DAG组成
YARN可以将多种计算框架部署到一个公共集群中，共享集群的资源
① 离线处理MapReduce
② 在线处理Storm
③ 迭代式计算框架Spark
④ 流式处理框架S4

YARN提供功能：
资源的统一管理和调度
集群中所有节点的资源（内存、CPU、磁盘、网络等）抽象为Container。计算框架需要资源进行运算任务时向YARN申请Container，YARN按照特定的策略对资源进行调度进行Container的分配。
资源隔离
YARN使用了轻量级资源隔离机制Cgroups进行资源隔离以避免相互干扰，一旦Container使用的资源量超过事先定义的上限值，就将其杀死。

3.YARN总体上是Master/Slave结构，主要由ResourceManager、N