yarn任务运行流程

最新推荐文章于 2024-08-29 06:30:00 发布
最新推荐文章于 2024-08-29 06:30:00 发布
阅读量814 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaoyaobird11/article/details/120259584
版权

运行流程
1、客户端向RM中提交程序
2、RM向NM中分配一个container，并在该container中启动AM
3、AM向RM注册，这样用户可以直接通过RM査看应用程序的运行状态(然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束)
4、AM采用轮询的方式通过RPC协议向RM申请和领取资源，资源的协调通过异步完成
5、AM申请到资源后，便与对应的NM通信，要求它启动任务
6、NM为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务
7、各个任务通过某个RPC协议向AM汇报自己的状态和进度，以让AM随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务
8、应用程序运行完成后，AM向RM注销并关闭自己

Flink在yarn模式下任务提交流程
机器之心
09-11 180
集群生命周期：Flink应用程序集群是一个专用的Flink集群，仅执行来自一个Flink应用程序的作业，而main()方法在集群上运行而不是客户端上运行。一旦作业完成，Flink作业集群将被关闭。JobManager具有与协调Flink应用程序的分布式执行相关的多项职责：它决定何时安排下一个任务（或一组任务），对已完成的任务或执行失败作出反应，协调检查点，并在故障时协调恢复，等等。Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用的Flink作业集群（已弃用）或Flink应用程序集群。
YARN 工作流程详解
StormWangxhu的博客
11-27 3790
YARN 工作流程详解 YARN，全称 Yet Another Resource Negotitator ，另一种资源协调者。是大数据领域非常优秀的资源调度管理组件。 很多大数据框架将 YARN 作业自己的资源调度工具，如 Spark。 主要学习： 是什么 干什么 怎么干的 Yarn 从功能上来说，主要负责数据计算中的两件事情：资源管理、程序调度。主要由两个核心模块构成，即 ResourceManager、NodeManager。其中，ResourceManager是统揽全局的核心，NodeManage
程序在Linux后台运行方法 （关掉终端继续让程序运行的方法）
少安的砖厂
04-24 7842
问题描述：在Linux服务器上开发的程序，远程连接中断执行这个程序，但是终端关闭后这个运行的程序会作为终端窗口的子进程自动关闭。 我要让程序在终端的后台运行，关闭终端后程序仍然可以继续运行。 （1）使程序在后台运行方法 一般情况下，我们在命令后面加上&即可(如下面的语句会在后台执行可执行文件TCPServerFinal) ./TCPServerFinal & 关闭后台程序...
flink.5 在yarn上运行
笔生花的博客
08-05 1323
一:Session Mode 运行任务 Session Mode运行jar有两个过程, 一是在yarn建立一个flink集群. 二:集群建立成功之后,提交任务. 1.1Session Mode 建立一个flink集群 有两种模式: 附加模式attached mode (default): client提交任务到flink-cluster上,之后客户端会继续运 行,并且会追踪集群状态.如果集群失败,则客户端会显示错误信息,如果客户端关闭,也会向flink-cluster发送关闭的信号,关闭集群. 下面
【Yarn】Yarn的基本执行流程（三） 应用运行结束流程
最新发布
coding and writing
08-29 720
Yarn的基本执行流程之应用运行结束
yarn start
m0_46590655的博客
03-25 1716
yarn: 无法加载文件C:\Users\xxx\xxx\yarn.js，因为在此系统上禁止运行脚本。 vsCode运行命令yarn start报错，不能打开集成终端 解决 1.以管理员身份运行 powershall 2. 输入命令：set-ExecutionPolicy RemoteSigned【回车】 3. 输入 : y【回车】 4. 输入命令： get-ExecutionPolicy【回车】 ...
后台运行命令nohup、job 等
weixin_34380781的博客
06-04 136
nohup 命令用于把命令放在系统后台来执行，关闭命令所在的控制台和注销所有的用户都不会有影响例如：nohup java -jar X.jar >/dev/null & job内容来自http://blog.chinaunix.net/uid-22969800-id-3063095.html，非常精辟，我摘选部分如下： Linux下面Job Control的一些知识（包括j...
yarn运行原理
delet丶
08-08 253
yarn运行的基本原理（yarn2.0） 客户端向yarn提交运行程序。 ResourceManager向NodeManager分配一个container,在container中启动ApplicationMaster。 AppMaster向RM申请运行程序的资源（cpu，core，memory） APPMaster拿到资源后向NM通信，申请运行task任务 运行的各个任务向APPMaster报告...
图解Spark任务提交执行流程总结
伟红-long-term
08-30 947
一、Spark基于Standalone任务提交 根据Driver在集群中的位置分为两种模式： 一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上 提交命令 ./spark-submit --master spark://node1:70...
Hadoop Yarn架构及任务提交流程
初心江湖路的博客
03-02 891
一、Yarn架构图 图片来自官网 二、Yarn架构的主要组件 1、ResourceManager 这是一个全局性组件，负责整个集群资源管理。其两个主要的组件分别为Scheduler（调度器）和 ApplicationsManager（应用管理器）。 Scheduler 调度器Scheduler是支持可插拔的，用于根据不同的队列、应用等来划分集群资源，如 CapacityScheduler 按照容...
yarn基本运作流程
08-16
3. **ApplicationMaster (AM)**：每个应用程序的主进程，在YARN上运行一个特定的应用程序时启动，负责与ResourceManager协商资源，并与NodeManager通信来执行和监控任务。 4. **Container**：由NodeManager启动的...
npm run dev后台运行
彭世瑜的博客
02-17 7269
执行命令 nohup npm run dev >/dev/null 2>&1 & exit
Hadoop Yarn详解
sysocc的博客
05-23 338
YARN通过两类长期运行的守护进程提供自己的核心服务： resource manager——管理集群上资源使用的资源管理器 node manager——运行在集群中所有节点上，且能够启动和监控容器（container） YARN上如何运行一个应用： 客户端联系资源管理器（ResourceManager），要求它运行一个Application Master进程（上图步骤1） ResourceManager找到一个能够在容器（Container）中启动application master的节点
create-react-app时，yarn start启动运行失败！
baidulixueqin的博客
09-28 598
使用create-react-app 构建项目时，yarn start启动运行失败？ 错误截图如下： 解决方案： 在终端运行npm run eject, 让配置文件可见 然后再运行yarn start 问题解决,亲测有效！
浅谈yarn的运行原理
weixin_45577149的博客
11-26 356
1、yarn的诞生 在1.0版本之前没有yarn的，在2.0版本之后诞生了yarn，当然，每个系统的诞生都是人类有一定的需求诞生的。在2.0版本之前，hadoop集群只有HDFS和MapReduce，2.0版本之后才有的yarn。 首先，1.0版本，人们遇到的最大的问题就是资源管理。随着技术的发展，人们已经不再满足只有MapRduce一个计算框架，所以诞生了其他计算框架（例如：spark，Mars...
Yarn的配置与启动
热门推荐
wangato的博客
04-11 1万+
Yarn MapReduce
第四章 关于 YARN
qq_41800568的博客
03-21 367
第四章 关于 YARN Apache YARN（Yet Another Resource Negotiator）是Hadoop的集群管理系统。YARN被引入Hadoop2，最初是为了改善MapReduce的实现，但它具有足够的通用型，同样可以支持其他的分布式计算模式。 YARN 应用运行机制 YARN 通过两类长期运行的守护进程提供自己的核心服务： 管理集群上资源使用的资源管理器（resource manager） 运行在集群中所有节点上且能够启动和监控容器（container）的节点管理器（node m
yarn　更換调度器之后，正在运行的作业可以自动拉起
houzhizhen的专栏
07-26 663
１。
hadoop yarn的执行流程
07-15
Hadoop YARN（Yet Another Resource Negotiator）是Hadoop的集群资源管理系统，负责集群资源的分配和任务的调度。以下是Hadoop YARN的执行流程： 1. 提交作业：用户通过客户端向YARN提交作业，包括应用程序的代码和所需的资源配置。 2. 资源请求：YARN的ResourceManager接收到作业提交请求后，会为该作业分配一个唯一的Application ID，并将作业相关的信息记录在内部数据结构中。 3. 资源分配：ResourceManager根据集群中可用的资源情况，分配合适的Container给作业。Container是一个虚拟的计算资源单元，可以运行一个或多个任务。 4. 任务调度：一旦ResourceManager为作业分配了Container，它会将Container的相关信息发送给NodeManager，NodeManager负责管理和监控Container的运行。 5. 任务执行：一旦NodeManager接收到Container的信息，它会启动Container，并运行作业中的任务。任务可以是Map任务或Reduce任务，由应用程序代码定义。 6. 任务监控：NodeManager会监控任务的运行状态，并将进度和日志信息发送给ResourceManager。 7. 容错和恢复：如果任务失败或节点故障，YARN会自动重新分配和启动失败的任务。此外，它还能够根据配置策略进行容错和恢复操作。 8. 完成作业：当作业中的所有任务都成功完成时，YARN会将作业的最终状态和结果返回给客户端。 总体而言，Hadoop YARN通过ResourceManager和NodeManager的协调与管理，实现了任务的分配、调度和执行，以及容错和恢复等功能，从而实现了高效的集群资源管理和作业执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值