Yarn模式下Spark应用执行流程

最新推荐文章于 2024-05-22 00:24:23 发布
最新推荐文章于 2024-05-22 00:24:23 发布
阅读量843 收藏
点赞数 1
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ACXZZXC/article/details/126951254
版权
  1. Yarn集群中NodeManger向ResourceManager报送心跳,ResourceManager等待应用向自己提交申请
  2. 在客户端执行Spark命令,向Yarn集群申请资源(采用cluster模式,Driver进程会启动在集群中某台NodeManager上)
  3. 客户端向ResourceManager申请启动ApplicationMaster(将申请资源的任务让ApplicationMaster承担,减轻Driver进程的压力)
  4. 在相对空闲的NodeManager的一个Container中启动ApplicationMaster,并且在ApplicationMaster中启动Driver进程(ApplicationMaster和Driver进程在cluster模式下都在同一台机器上)
  5. ApplicationMaster向ResourceManager申请资源用于启动Executor
  6. ResourceManager向ApplicationMaster返回一个可用的NodeManager列表
  7. ApplicationMaster连接NodeManager,在Container中启动Executor
  8. Executor启动后反向注册给Driver进程
  9. Driver进程接收到所有的Executor启动完毕
  10. Driver进程的SparkContext对象识别Action算子,并通过回溯之前的RDD依赖关系完成DAG的构建
  11. DAGScheduler根据DAG中各个RDD的宽窄依赖关系将Job分为不同的Stage,每个Stage中有一个TaskSet,他们执行的代码都是相同的
  12. DAGScheduler将含有一组Task的Stage提交给TaskScheduler,TaskScheduler将task任务对应的计算代码发送给Executor进行处理
  13. Executor将Task任务对应的代码放到线程池中执行,执行后把结果返回给TaskScheduler
  14. TaskScheduler将结果继续返回给DAGScheduler,DAGScheduler则将下一个Stage的TaskSet交给TaskScheduler去处理
  15. 等所有的Stage都被处理完成后,Driver和所有的Executor都销毁,剩下ResourceManager继续等待其他的应用向他申请资源
ACXZZXC
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Spark 中 Yarn 运行模式
RayfunC的博客
03-05 1193
简介 spark 的 yarn 运行模式根据Driver 在集群中的位置分成两种： 1）yarn-client客户端模式 2）yarn-cluster集群模式 yarn 模式和 standalone 模式不同，standalone 模式需要启动 spark 独立集群，这样 SparkContext 才能与 Master 进行交互通信。而 yarn 模式的资源管理全部托管给的 Reso...
Spark On Yarn 运行模式（详细）
阿楠的博客
11-03 2565
Spark 在spark 中，支持4中运行模式： 1）Local:开发时使用 2）Standalone: 是spark 自带的，如果一个集群是standalong 的话，那么就需要在多台机器上同时部署spark 环境 3）Yarn:建议大家在生产上使用该模式，统一使用yarn 进行整个集群作业（mr、spark）的资源调度 4）Mesos ：跟yarn使用一样都是资源调度 不管使用什...
Spark基础之：集群角色以及任务提交流程
weixin_43542605的博客
01-13 1707
本篇主要介绍两块内容： 一、Spark集群主要角色以及每个角色的主要功能，包含Spark自身角色以及Spark运行在Yarn（Spark on Yarn）上的角色。 二、Spark运行时任务提交的流程。
Spark on Yarn模式下执行过程
多头注意力探索Now
04-28 1393
spark on yarn执行过程
Spark在YARN上运行图解（资源调度+任务调度）及案例
weixin_52134189的博客
05-22 1063
Spark集群配置YARN、client与cluster提交流程图解、编写spark程序在yarn上执行（计算圆周率）
spark on yarn 运行流程
weixin_40319752的博客
08-05 7240
一、driver 运行在集群中（cluster模式） 1、client 向 yarn 提交一个job 2、ResouceManager 为该job在某个 NodeManager 上分配一个 ApplicationMaster，NM启动AppMaster，Appmaster 启动 driver 3、ApplicationMaster 启动后完成初始化作业，driver 生成一系列task 4...
Spark On Yarn Cluster模式执行流程
weixin_52378299的博客
03-16 236
1，客户端向resource manager申请资源，返回一个application id 2，客户端上传spark jars下的jar包，自己写的jar包和配置 3，resource manager随机找一个资源充足的node manager 4，然后通过rpc让noda manager从hdfs上下载 jar包和配置，启动application master 5，application master想resource manager申请资源 6，resource manager中的resource sc
Spark on yarn工作模式。 Client和Cluster两种运行模式的工作流程、基本概念。spark工作流程
xuehuagongzi000的博客
11-14 1061
目录 1、首先介绍yarn的模型图 （1）、yarn 模型图 （2）、yarn的流程如下： 2、cluster模式下提交任务流程 （1）、流程图如下 （2）、工作流程如下： 3、在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。 （1）、client模式下的流程图 （2）、工作流程如下： 4、Spark任务调度 1、首先介...
Spark on Yarn之Executor内存管理 - 简书1
08-04
【Spark on Yarn之Executor内存管理】 Spark是一个分布式计算框架，它可以在多个集群管理系统上运行，包括YARN（Hadoop的资源调度器）。...正确配置和优化这些参数对于确保Spark应用的稳定运行至关重要。
spark-2.2.2安装流程
05-06
在YARN模式中为资源管理器。 Worker：从节点，负责控制计算节点，启动Executor。在YARN模式中为NodeManager，负责计算节点的控制。 Driver：运行Application的main()函数并创建SparkContext。 Executor：执行器，在...
【Spark内核篇02】Spark模式运行机制1
08-04
在Spark内核篇02中，我们主要讨论了Spark在三种不同模式下的运行机制：Yarn模式、Yarn-Client模式和Standalone模式，包括这两种运行模式下的Cluster和Client模式。 首先，我们来看Yarn模式的运行流程： 1. 用户通过...
基于Spark_on_Yarn的淘宝数据挖掘平台.pdf
06-09
- **Driver Program**：主程序，负责启动Spark应用并协调各个组件的工作流程。 - **Application Master**：由Yarn为每个Spark应用启动的应用程序管理器，负责与ResourceManager协商资源并启动Executor。 #### 三、...
大数据技术分享 Spark技术讲座 Apache Spark应用程序资源分配的动态优先级 共21页.pdf
最新发布
07-18
在不同的集群管理模式下，Spark应用程序的调度方式也会有所不同： 1. **独立模式(Standalone Mode)**：默认情况下，提交到独立模式集群的应用程序按照先进先出(FIFO)的原则运行，没有设置优先级。 2. **Mesos**：当...
Spark on Yarn(client和cluster模式,spark-shell 和 spark-submit 的区别,WorldCount实现与理解)
Maverick_曲流觞的博客
04-17 1313
Spark on Yarn，两种模式client，cluster，spark-shell 和 spark-submit 的区别的理解 WorldCount实现，IDEA本地实现，On Yarn 实现，WorldCount图解
Spark（五十一）：Spark On YARN（Yarn-Cluster模式）启动流程源码分析（二）
weixin_30408739的博客
06-25 379
上篇《Spark（四十九）：Spark On YARN启动流程源码分析（一）》我们讲到启动SparkContext初始化，ApplicationMaster启动资源中，讲解的内容明显不完整。 本章将针对yarn-cluster（--master yarn –deploy-mode cluster）模式下全面进行代码补充解读： 1）什么时候初始化SparkContext； 2）如何实现Ap...
java之面向对象（下）
MTS的博客
01-10 367
static变量 使用static修饰属性：称为静态变量（或类变量） 实例变量：我们创建的类的多个对象，每个对象都独立的拥有一套类中的非静态属性。当修改其中一个对象中的非静态属性时，不会导致其他对象中同样的属性的修改。 静态变量：我们创建了类的多个对象，多个对象共享同一个静态变量。当通过一个对象修改变量时，其他对象调用此静态变量时，是修改过了的。 静态变量随着类的加载而加载。并且加载要早于对象的创建。由于类只会加载一次，则静态变量在内存中也只会存在一份：存在方法区的静态域中。 类变量（静态变量）和实例变
Spark on Yarn 中YARN-Cluster和YARN-Client的区别及工作流程
CyAurora的博客
08-10 771
目录 一、介绍yarn的模型图 二、AppMaster和Driver 三、YARN-Cluster和YARN-Client的区别 3.1YARN-client的⼯作流程 3.2YARN-Cluster的工作原理 3.3Cluster和Client区别 一、介绍yarn的模型图 运行流程 1、 用户向 YARN 中提交应用程序，其中包括 MRAppMaster 程序，启动 MRAppMaster 的命令，用户程序等。 2、ResourceManager 为该程序分配第一个 Con
Spark:三种任务提交流程standalone、yarn-cluster、yarn-client
weixin_30826095的博客
07-09 176
spark的runtime 参考:Spark:Yarn-cluster和Yarn-client区别与联系 浪尖分享资料 standalone Spark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式。 该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成。 在Spark 的Standalone模式中： 主：为master 从：为worker 任务提交流程： ...
Spark Yarn Cluster 模式启动流程源码分析
RJ_Dream的博客
03-18 540
spark-submit.s 首先由spark-submit.sh脚本提交任务： if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0")"/find-spark-home fi # disable randomized hash for string in Python 3.3+ export PYTHONHASHSEED=0 exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.de
spark-yarn模式的执行流程
03-28
1. 客户端提交应用程序：客户端将应用程序的jar包和配置文件提交给YARN ResourceManager。 2. ResourceManager启动ApplicationMaster：ResourceManager选取一个NodeManager，启动ApplicationMaster，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值