Yarn工作原理浅析

最新推荐文章于 2024-09-13 17:58:07 发布
最新推荐文章于 2024-09-13 17:58:07 发布
阅读量4.8k 收藏 17
点赞数 4
文章标签： hadoop yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41867777/article/details/80422867
版权
本文介绍了Yarn在Hadoop中的作用，作为资源调度框架，Yarn包含ResourceManager、NodeManager和Application Master等关键组件。ResourceManager负责全局资源管理和调度，NodeManager管理节点资源，Application Master则协调作业执行。作业执行流程涉及Client提交作业、ResourceManager分配Container、启动Application Master以及Application Master申请和分配任务资源。通过理解这些概念和流程，能更好地掌握Hadoop集群作业处理。
摘要由CSDN通过智能技术生成

    Yarn作为Hadoop的资源调度框架，承担着扩展Hadoop的重要责任，我们配置Spark时就使用了Spark on Yarn的配置方法，这里简单介绍一些YARN的工作原理，有助于理解整个系统处理作业的过程。

    在配置好的Hadoop环境中，我们输入jps查看进程，可以看到，master节点上的ResourceManager和slave节点上的NodeManager就是属于Yarn的进程。

几个需要了解的概念

1. ResourceManager

    ResourceManager是master上的进程，负责整个分布式系统的资源管理和调度。他会处理来自client端的请求（包括提交作业/杀死作业）；启动/监控Application Master；监控NodeManager的情况，比如可能挂掉的NodeManager。

2. NodeManager

    相对应的，NodeManager时处在slave节点上的进程，他只负责当前slave节点的资源管理和调度，以及task的运行。他会定期向ResourceManager回报资源/Container的情况（heartbeat）；接受来自ResourceManager对于Container的启停命令。

3. Applicatio

最低0.47元/天 解锁文章
myz95
关注
YARN框架原理及运行机制
02-24
YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，AM负责单个应用程序的管理。YARN总体上仍然是Master/Slaver结构，在整个资源管理框架中，RM为Master，NM为Slaver，RM负责对各个NM上的资源进行统一管理和调度。当提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的AM，它负责向RM申请资源，并要求NM启动占用一定资源的任务，不同的AM被分布在不同的节点上。
YARN原理与架构
jpfx6008的博客
08-13 1991
ResourceManager会根据ApplicationMaster汇报的心跳报告来动态分配容器（Container），为ApplicationMaster绑定包含一定数量的容器（Container）的租约，ApplicationMaster会根据其自身的执行计划来适应容器（Container）的不足或过剩，同样也会动态的申请或释放容器（Container）。据Hadoop官网介绍，YARN的基本设计思路是将集群资源管理系统划分为多个相互独立的更小规模的功能组件，分别交由相互独立的守护进程进行管理。
yarn运行机制原理
最新发布
Darling博客
09-13 393
如果初始化的时候 只是返回mapTask运行的资源，当mapTask执行完成后或者执行过程中 appMaster向resourceManagerTask询问reduceTask的资源是否已经准备好了 如果准备好就进行reduce任务。11.当整个mapTask和reduceTask都运行完成后，container通知appMaster已经执行完成后，报告给resourceManager已经完成任务。6.appMaster通过心跳包，将任务计算的结果资源需求发送给主节点，进行资源的申请。
hadoop-yarn资源调度
Xiaoweidumpb
10-30 890
1.yarn的介绍： ​ yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。 yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM） ​ 总
yarn工作原理
热门推荐
公号：一条coding
01-03 2万+
基本架构 概念解析 1. ResourceManager     ResourceManager是master上的进程，负责整个分布式系统的资源管理和调度。他会处理来自client端的请求（包括提交作业/杀死作业）；启动/监控Application Master；监控NodeManager的情况，比如可能挂掉的NodeManager。 2. NodeManager     相对应的，...
YARN的工作原理详解
Rachel的博客
09-09 2402
YARN是一个集群资源的管理与任务调度的分布式框架 官网解释如下： Hadoop YARN: A framework for job scheduling and cluster resource management. YARN的工作原理 YARN架构图 1.客户端提交应用程序给ResourceManager 2.ResouceManager会生成ApplicationMaster...
大数据学习8：YARN的工作原理
ggwxk1990的博客
09-04 523
YARN工作原理：   YARN比MapReduce1更具一般性，实际上MapReduce只是YARN应用的一种形式。 相比经典的MapReduce来说，YARN的顶层包括更多的实体： (1)client客户端。 (2)YARN资源管理器。负责协调集群上计算资源的分配。 (3)YARN节点管理器。负责启动和监视集群中机器上的计算容器。 (4)应用程序master。负责协调运行MapR
Hadoop技术YARN工作机制共4页.pdf.zip
11-21
【标题】：Hadoop技术YARN工作机制 在大数据处理领域，Apache Hadoop是一个不可或缺的核心组件，它提供了一个分布式文件系统（HDFS...了解并掌握YARN的工作原理，对于优化大数据应用和管理大规模分布式系统至关重要。
YARN的工作机制.doc
10-26
YARN的工作机制.doc
hadoop和yarn原理笔记.docx
07-17
在大数据领域，Hadoop是一个广泛使用...总的来说，理解Hadoop和YARN的工作原理对于大数据环境下的系统优化和调优至关重要。通过合理的配置和选择合适的计算框架，可以有效地处理和分析海量数据，发挥大数据的真正价值。
初步掌握Yarn的架构及原理
05-15 219
1、YARN 是什么？ 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop 开发团队做了一些 bug 的修复，但是这些修复的成本越来越高，这表明对原框架做出改变的难度越来越大。为从根本上解...
大数据_YARN的工作原理
日积月累，水滴石穿
10-02 1816
2、向后兼容问题： 采用MRv1的旧API写的APP， 可以直接使用之前的 Jar包运行于MRv2上， 但采用MRv1；但采用MRv1的新API写的APP， 不可以如此， 需要使用MRv2编程库重新编译并修改不兼容的参数和 返回值。下面是MRv1和MRv2的介绍。下图的数字表示了YARN的从client提交任务，到申请资源，到创建task，以及task完成后返回结果RM的处理流程。1、Client与RM通信的协议，ApplicationClientProtocol，作业的提交，应用程序的状态等。
Yarn工作原理
qq_43012693的博客
09-15 1832
基本架构 Yarn的架构是master/slaves的主从架构 master:ResourceManager->全局资源管理 负责集群全局统一的资源管理、调度、分配 slave:NodeManager->节点资源管理器 启动了NodeManager进程的节点 负责管理节点的资源及使用情况 Yarn核心组件：包括ResouceManager和NodeManager ApplicatonMaster:每一个job产生一个ApplicationMaster，方便管理 Container：每
Yarn工作原理和作业提交过程(图形化通俗易懂)
lovelife110的博客
05-09 1625
文章目录组件模块说明架构工作原理 组件模块说明 Yarn：为一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 ResourceManager：整个集群所有资源的管理者。作用：处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度。 NodeManager：单个节点服务器资源管理者。作用：管理单个节点上的资源、处理来自ResourceManager的命
Yarn的工作原理
qq_36770189的博客
08-29 2483
Yarn是在hadoop2.x引入的一个新特性。是一个资源调度调度平台，它也只提供资源调度，这样 一来HDFS负责存储，MR负责计算，三者之间互有联系，却又相互独立，耦合性降低。这样一来意味着yarn上可以运行各类的分布式计算程序。 YARN的工作原理：（作业提交机制见：https://blog.csdn.net/qq_36770189/article/details/1001319...
YARN架构设计与工作原理
Z_Data的博客
09-28 809
Apache Hadoop另一种资源协调者（YARN）是一种新的Hadoop资源管理器，是一个通用的资源管理系统，可为上层应用提供统一的资源管理和作业调度服务，它的引入为集群在资源利用、资源的统一管理调度和数据共享等方面带来了巨大的好处。
YARN原理及工作流程详解
qq_45725767的博客
10-29 9104
在集群部署方面，Yarn的各个组件是和Hadoop集群中的其他组件进行同一部署的 在YARN框架中执行一个MapReduce程序时，从提交到完成需要经历如下8个步骤。 ①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动AlipplicationMaster的命令、用户程序等。 ②YARN 中的ReourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，RsourceManager里面的调度器会为应用程序分配一个容器。同时
YARN工作原理
待定的专栏
05-08 1568
1.     概述 YARN是一个资源管理系统，负责集群资源的管理和分配。如果想要将一个新的应用程序运行在YARN之上，通常需要编写两个组件：客户端和ApplicationMaster。由于这两个组件编写非常复杂，尤其ApplicationMaster，需要考虑RPC调用、任务容错等细节，所以，往往由专业的开发人员编写这两个组件，并提供给上层的应用程序用户使用。如果大量应用程序可抽象成一种通
YARN【工作机制】
功不唐捐，玉汝于成
06-03 712
Yarn工作机制
mr on yarn 工作原理
04-04
它的工作原理如下： 1. 提交作业：用户通过客户端向YARN资源管理器（ResourceManager）提交MapReduce作业。作业包括MapReduce程序的代码和配置信息。 2. 资源分配：ResourceManager接收到作业后，将其分解为多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值