Yarn作业提交流程及RMApp状态机介绍

最新推荐文章于 2023-09-28 00:45:00 发布
置顶 最新推荐文章于 2023-09-28 00:45:00 发布
阅读量662 收藏
点赞数 1
分类专栏： yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tomson8975/article/details/47362809
版权

主要的几个状态机流程图：

（图太大了，请下到本地 打开看）


tomson8975
关注
专栏目录
【Yarn篇01】Yarn工作机制和作业提交流程1
08-04
【Yarn工作机制和作业提交流程】是Hadoop生态系统中至关重要的一部分，它负责管理和调度分布式计算资源，确保高效地执行MapReduce等运算程序。Yarn，全称Yet Another Resource Negotiator，是一个资源调度平台，它的...
Yarn的工作流程（mr提交应用程序）
qq_34382453的博客
10-16 1379
Yarn的工作流程如下图： 1、 用户向Yarn提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2、ResourceManager为该程序分配第一个Container,并与对应的NodeManager通信，要求它在对应的Container中启动应用程序的ApplicationMaster。 3、ApplicationMas...
【大数据】yarn 任务中的几种状态变化详细过程
匠人精神，持之以恒！
05-08 1410
在YARN中，应用程序和Container的状态变化会影响任务的执行和资源分配。
在Android App中实现状态机
weixin_26739079的博客
09-17 577
I’m sure you’ve all seen this type of code: 我确定你们都看过这种类型的代码： This actually doesn’t look so bad, but as your branches grow, it will add cognitive load each time you read the lines. Also, what happens ...
YARN应用的生命周期和状态
互联网知识分享
07-23 503
框架将根据应用的资源需求和集群的资源情况，为应用程序分配合适的资源，并启动应用程序的执行。: YARN客户端对象，用于与YARN进行交互，包括创建和提交应用、获取应用状态等操作。在提交阶段，应用程序的资源需求和容器的启动命令等信息将被配置和提供。: 应用提交上下文对象，用于设置应用的相关信息，如应用名称、资源需求等。应用中包含了应用的相关信息，如应用名称、队列名称、资源需求等。: 应用报告对象，包含了应用的状态、执行结果和日志等信息。应用在其生命周期中，会有不同的状态来表示当前的执行状态。
Yarn的状态机框架分析
coding and writing
09-28 339
状态机(State Machine)，是有限状态自动机的简称。简单解释：给定一个状态机，同时给定它的当前状态和输入，那么输出状态时可以明确的运算出来的。
yarn入门——yarn的架构及作业调度
02-24
影响系统扩展不支持MapReduce之外的计算框架，比如Storm,spark,flink是一种新的Hadoop资源管理器，它是一个通用资源管理系统，YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要...
DongTL#bigdata_interview#6-YARN的作业提交流程1
07-25
YARN的作业提交流程MapReduce程序提交到YarnRunner所在节点YarnRunner向ResourceManager申请一个appliationR
介绍 yarn 的安装及使用流程.md
06-13
介绍 yarn 的安装及使用流程
yarn app的状态 ALL, NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED
Ahuuua的博客
06-11 5590
转自：yarn RMApp-状态机实现https://www.jianshu.com/p/cb98a72c94ab 状态机介绍 在RM内部维护着所有Application的状态。对于每个Application都有一个RMApp对象与之对应。在RMApp的实现类RMAppImpl中，维护着对象的基本信息，包括起始时间、名字、用户、组等信息，其中最复杂的部分莫过于其维护的状态机。 状态与转换解...
fizz：简单的功能状态机库
02-16
嘶嘶声 Fizz是用于构建状态机的小型库，可以有效地管理复杂的事件序列。 安装 yarn add @tdreyno/fizz 设计 Fizz尝试提供一种“纯Javascript”的API，并且以纯功能的方式运行[^ 1]。 状态仅仅是接受action函数，这是我们要应用于当前状态的事件。 动作是提供type键以区别于其他动作类型的对象。 它与Redux动作的格式非常相似。 状态返回一个或多个副作用（或任务的一个或多个副作用），它们只是简单的函数，将按照它们在状态转换结束时生成的顺序进行调用。 美国可以enter通过发送编Enter动作。 这是一个简单状态的示例，在进入时会记录一条消息。 function MyState ( action ) { switch ( action . type ) { case "Enter" : return log (
yarn中的事件分发与状态机框架
hncscwc的博客
10-01 519
【概述】在早之前的文章《YARN——任务提交启动流程》中提到了，其处理逻辑是围绕applicaiton、container、attempt实例对象的创建，各自状态机的变化来实现的。具体来说，是将处理逻辑抽象为事件与事件的处理，对事件进行异步分发以及对不同事件的回调处理，同时以有限状态机来表示事件处理后的不同状态。本文就来总结下yarn中的事件异步分发处理框架以及状态机框架的使用与实现原理。【事件异...
Yarn中的状态机库及其使用
METON的博客
08-20 879
状态机库 状态机由一组状态组成，这些状态分为三类：初始状态、中间状态和最终状态。状态机从初始状态开始运行，经过一系列中间状态后，到达最终状态并退出。在一个状态机中，每个状态都可以接收一组特定事件，并根据具体的事件类型转换到另一个状态。当状态机转换到最终状态时，则退出。 YARN状态转换方式 在YARN中，每种状态转换由一个四元组表示，分别是转换前状态（preState）、转换后状态（postState）、事件（event）和回调函数（hook）。YARN定义了三种状态转...
【深入浅出 Yarn 架构与实现】2-4 Yarn 基础库 - 状态机库
笨鸟先飞的博客
11-01 493
当一个服务拥有太多处理逻辑时，会导致代码结构异常的混乱，很难分辨一段逻辑是在哪个阶段发挥作用的。 这时就可以引入状态机模型，帮助代码结构变得清晰。
Yarn中的几种状态机
weixin_30383279的博客
08-05 372
1 概述 为了增大并发性，Yarn采用事件驱动的并发模型，将各种处理逻辑抽象成事件和调度器，将事件的处理过程用状态机表示。什么是状态机？ 如果一个对象，其构成为若干个状态，以及触发这些状态发生相互转移的事件，那么此对象称之为状态机。 处理请求作为某种事件发送到系统中，由一个中央调度器传递给对应的事件调度器，进而对事件进行处理，处理完成之后再次发送给中央调度器，再进行处...
Hadoop2.6.0中YARN底层状态机实现分析
热门推荐
beliefer的博客
04-29 2万+
Hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞；采用Protocol Buffers优化RPC性能；采用Apache Avro优化日志等。本文主要针对YARN中状态机的实现进行分析，在这个过程中，会捎带一些事件的内容。
Yarn中RMApp、RMAppAttempt、RMContainer和RMNode状态机及其状态转移
METON的博客
08-24 1580
概述 YARN中，如果一个对象由若干个状态以及触发这些状态发生转移的事件构成，它将被抽象成一个状态机，在YARN的ResourceManager内部，共有四类状态机，分别是RMApp，RMAppAttempt，RMContainer和RMNode。其中，前2类状态机维护了一个应用程序相关的生命周期，包括Application生命周期，一次进行尝试的生命周期；RMContainer则维护了分配出去的各个资源的使用状态；RMNode维护了一个NodeManager的生命周期。以上四个状态机，继...
Hadoop3.2.1 【 YARN 】源码分析 : RMApp状态机浅析
张伯毅的专栏
12-31 1437
一. 前言 在YARN中， 如果一个对象由若干个状态以及触发这些状态发生转移的事件构成， 它将被抽象成在这里插入代码片一个状态机， 在YARN ResourceManager内部， 共有4类状态机， 分别是RMApp、 RMAppAttempt、 RMContainer和RMNode。 其中， 前2类状态机维护了一个应用程序相关的生命周期， 包括Application生命周期、 一次运行尝试的生命周期； RMContainer则维护了分配出去的各个资源的使用状态； RMNode维护了一个NodeManage
软件设计之状态机
Dreaming
05-08 853
============================================================================ 原创作品，允许转载。转载时请务必以超链接形式标明原始出处、以及本声明。 请注明转自：http://yunjianfei.iteye.com/blog/ ==========================================...
Yarn 提交作业流程
最新发布
10-12
YARN (Yet Another Resource Negotiator) 是Hadoop生态系统中的资源管理系统，它负责管理和调度集群中的计算资源。在YARN上提交作业通常包括以下几个步骤： 1. **创建应用程序 masters（ApplicationMaster）**: 当你在YARN客户端（如`yarn-client`）上运行一个MapReduce任务或其他分布式应用时，它首先会启动一个`ApplicationMaster`进程。这个进程代表你的应用程序，并负责管理整个作业。 2. **提交申请（Submit Application）**: 向ResourceManager（RM）提交作业描述文件（例如XML或JSON格式），包含作业的基本信息、资源配置需求等。你可以通过命令行工具或者API来提交。 ```shell $ yarn submit your-application.jar ``` 3. **资源分配（Resource Allocation）**: RM接收到作业提交后，会评估集群资源情况并分配适当数量的Container给`ApplicationMaster`。Container是YARN最小的可执行单元，包含了运行用户程序所需的环境。 4. **`ApplicationMaster`与NodeManager通信**: `ApplicationMaster`与每个NodeManager（NM）建立连接，告诉它们如何在节点上启动和监控Containers。 NM负责实际的容器管理和任务调度。 5. **Container启动与任务执行**: Container在指定的节点上启动，并按照`ApplicationMaster`的指示执行用户的程序或任务。 6. **任务进度更新和监控**: `ApplicationMaster`定期与NM交互获取任务状态更新，直到所有任务完成或者失败。 7. **结果收集与作业结束**: 一旦所有任务完成或遇到错误，`ApplicationMaster`报告最终状态，YARN系统关闭不再需要的资源，作业结束。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值