spark on yarn 作业提交流程源码

于 2024-06-17 16:40:04 发布
阅读量342 收藏 8
点赞数 3
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43839095/article/details/139748208
版权

借图 https://blog.csdn.net/qq_40640228/article/details/128265115

脚本启动执行

脚本入口：spark-submit.sh
spark-submit.sh中调用了spark-class.sh
image.png
spark-class.sh中首先是找到java的目录，使用org.apache.spark.launcher.Main类生成执行命令，赋值到变量CMD中。使用exec执行CMD
image.png
image.png
image.png
org.apache.spark.launcher.Main
调用buildCommand函数，就是调用builder.buildCommand。builder是SparkSubmitCommandBuilder。
image.png
image.png
SparkSubmitCommandBuilder
根据参数选择java命令。调用buildSparkSubmitCommand函数
image.png
buildSparkSubmitCommand中首先调用buildJavaCommand生成xx/bin/java -cp xxx1.jar:xxx2.jar
后面加上启动类和相关参数。
最后命令：xx/bin/java -cp xxx1.jar:xxx2.jar org.apache.spark.deploy.SparkSubmit arg[0]…
image.png
image.png

SparkSubmit

可以看到是调用SparkSubmit的doSubmit方法
image.png
调用submit方法
image.png
调用runMain方法
image.png
调用prepareSubmitEnvironment获取到childArgs, childClasspath, sparkConf, childMainClass。
根据childMainClass创建SparkApplication对象，因为是yarn集群模型，所以是YarnClusterApplication
调用YarnClusterApplication的start方法。
image.png
prepareSubmitEnvironment
根据 --master yarn --deploy-mode cluster确定是isYarnCluster
childMainClass = YARN_CLUSTER_SUBMIT_CLASS
YARN_CLUSTER_SUBMIT_CLASS=“org.apache.spark.deploy.yarn.YarnClusterApplication”
image.png
image.png
image.png

YarnClusterApplication

YarnClusterApplication在resource-managers目录下面的yarn工程的org.apache.spark.deploy.yarn包下的Client类中。
start方法就是创建Client，执行run方法，调用submitApplication方法
image.png
image.png
submitApplication
1.yarnClient初始化并连接
2.yarnClient向resourceManager申请创建app
3.生成app的启动命令（启动类是ApplicationMaster）
4.app状态变更为SUBMITTED
image.png
createContainerLaunchContext
image.png
启动内存spark.driver.memory指定，默认是1G
image.png
启动类是org.apache.spark.deploy.yarn.ApplicationMaster
image.png
createApplicationSubmissionContext
指定yarn的container内存和core
image.png

ApplicationMaster

创建ApplicationMaster对象，并执行run方法。
image.png
run中获取attemptID，并启动driver（runDriver方法）
image.png

runDriver

1.调用startUserApplication执行用户类，用户类中会初始化sparkContext
2.等待sparkContext初始化完成
3.注册applicationMaster
4.申请container，用于部署executor
5.唤醒用户线程，等待用户线程执行完毕
image.png

执行用户类

startUserApplication
通过反射获取到用户类的main方法对象，并执行。
image.png
创建sparkContext
通过SparkSession创建sparkContext对象。
image.png
image.png
image.png
sparkContext初始化完成后，调用YarnClusterScheduler的postStartHook方法。
最终用户线程通知主线程sparkContext初始化完成，同时用户线程暂停，等待application向yarn申请到资源后再继续执行。
image.png
image.png
image.png
image.png

等待sc初始化

applicationMaster的host、port需要等到sparkContext初始化才有，所以在此等待。
用户类中会初始化sparkContext并通知返回sparkContext。
image.png

注册applicationMaster

创建并初始化amClient（负责AM与RM进行通信的客户端）
向rm注册am
image.png

申请container

首先创建YarnAllocator（负责跟ResourceManager申请和释放container），再申请executor对应的资源并启动。
image.png
image.png
updateResourceRequests 更新一下container的request
handleAllocatedContainers 启动成功申请下来的容器
image.png

  1. 计算还缺少的executor数量missing
  2. 将处在pending状态的request分类：
    1. localRequests 能匹配上本地
    2. staleRequests 不能匹配上本地
    3. anyHostRequests 对运行节点没有要求
  3. staleRequests匹配不上的请求移除
  4. 根据本地优先策略尽可能分配container
  5. 生成新的ContainerRequest（newLocalityRequests），如果不够的话，新增不限host不限rack的请求，多的话就移除多余的LocalityRequests
  6. addContainerRequest将请求发送给rm，等待实际分配

image.png
rm成功分配下来的container有可能存在不符合的情况。所以还要校验一遍，移除不符合的container。

  1. host匹配
  2. rack匹配
  3. 无host无rack匹配
  4. 移除不符合的container
  5. 启动container

image.png

启动container

可以看到启动container是创建ExecutorRunnable对象并调用run方法
image.png
初始化NMClient，调用startContainer方法
image.png
prepareCommand 拼接java启动命令，启动类是org.apache.spark.executor.YarnCoarseGrainedExecutorBackend
nmClient.startContainer(container.get, ctx)发送启动请求，在对应的节点启动，container中指定了节点
image.png
image.png
YarnCoarseGrainedExecutorBackend 在container中负责管理executor，是CoarseGrainedExecutorBackend的子类
可以看到是CoarseGrainedExecutorBackend的run方法中传入了YarnCoarseGrainedExecutorBackend创建的函数，在run中会创建YarnCoarseGrainedExecutorBackend。
CoarseGrainedExecutorBackend是一个RPC节点，创建的时候会调用onStart方法。
image.png
CoarseGrainedExecutorBackend向driver注册executor，注册成功向自身发送注册成功消息RegisteredExecutor
image.png
接收RegisteredExecutor消息，创建Executor，先driver发送executor加载完成消息LaunchedExecutor。Executor创建完成后，backend就会等待LaunchTask消息让executor执行task
image.png
到此container已经启动，里面的executor也准备就绪，等待task任务。

唤醒用户线程

applicationMaster的runDriver方法最后，唤醒用户线程（用户代码执行完sparkContext初始化后就暂停了，可以），继续执行用户代码。
image.png
image.png
回到用户代码，rdd部分是用户的数据逻辑，最后调用action算子（此处是collect）会开始执行job。
image.png
collect算子，最后调用的是sc的runJob方法。
image.png
image.png
启动部分就到这里吧，再后面就是task划分和task执行

申尧强
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark On YARN启动流程源码分析
METON的博客
04-04 1251
1、spark-submit入口介绍 一般的spark作业都是通过命令行spark-submit相关的指令来进行提交，使用--master yarn来指定提交到对应的yarn集群上，如下： ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory
【读懂面经中的源码】SPARK源码解析——Spark任务提交、调度、执行过程
最新发布
番茄薯仔
08-12 666
【读懂面经中的源码】SPARK源码解析——Spark任务提交、调度、执行过程。这是读源码的博客，主要从面经出发，深入理解Spark任务提交、调度、执行过程，期间通过源码加深理解面经中提到的原理。文章包括三部分，分别是面筋部分、Spark任务提交、SparkContext初始化、Executor启动、Task启动的部分。文章三部分的讲解将有助于读者同学理解Spark任务提交、调度、执行详细原理，希望能够帮助到各位读者同学！！！
一张图解决SparkSubmit作业提交流程源码
Mirror_w的博客
06-10 267
Spark源码分析之一：Job提交运行总流程概述
weixin_34242819的博客
02-14 202
Spark是一个基于内存的分布式计算框架，运行在其上的应用程序，按照Action被划分为一个个Job，而Job提交运行的总流程，大致分为两个阶段： 1、Stage划分与提交 （1）Job按照RDD之间的依赖关系是否为宽依赖，由DAGScheduler划分为一个个Stage，并将每个Stage提交给Task...
Spark 任务提交流程涉及源码说明
Small_Ran的博客
07-02 904
本篇主要阐述 Spark on Yarn 任务提交源码分析说的流程，目的在于了解任务提交的大概流程；其主要是想通过对 Spark 任务提交流程与涉及到的源码了解；在遇到问题的时候可以快速定位到是由什么环节导致的，从而可以快速排查问题并予以解决。 ......
Spark源码系列(一)：Spark作业提交流程
Dreamershi的专栏
08-23 1001
Spark支持spark-shell、spark-sql、spark-submit多种使用方式，但最终调用的代码都是通过SparkSubmit进行提交，上一篇介绍到spark-submit的示例： # spark本地模式提交作业 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local /path/to/examples.jar \ 1000 下面就来分析下spark-submit..
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
Spark 初始化源码阅读 Spark on YARN 的 Client 和 Cluster 区别 Spark 是一个大数据处理的开源框架，它可以在多种集群管理器上运行，如 YARN、Mesos 和 Standalone。Spark on YARN 是 Spark 在 YARN 集群管理器上...
spark yarn模式的搭建.docx
06-15
Spark On Yarn 是一个在 Apache Hadoop YARN（Yet Another Resource Negotiator）资源管理器上运行 Apache Spark 应用程序的框架。这种模式允许 Spark 利用 Hadoop 的集群资源管理和调度能力，使得 Spark 能够更好地...
【讲义-第10期Spark公益大讲堂】Spark on Yarn-.pdf
08-29
#### Spark on Yarn的工作流程 当Spark应用提交至YARN集群时，会经历以下步骤： 1. **提交应用程序**：用户通过`spark-submit`命令将Spark应用程序提交给YARN。 2. **启动ApplicationMaster**：ResourceManager为该...
Spark源码深度解读
11-29
Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。
Hive on Spark实施笔记1
08-08
参考文档包括Apache官方的Hive on Spark指南、Spark运行在YARN上的文档，以及相关技术博客，这些资源提供了更多详细的配置和使用信息。 总之，Hive on Spark的实施涉及多个步骤，包括编译、安装、配置和测试。通过...
SparkCore源码阅读
01-29
本文主要关注 Spark 的部署方式，包括 Standalone、Spark on Mesos 和 Spark on YARN 三种模式，并尝试从中提炼出重要的知识点。 #### Standalone 部署方式 Standalone 是 Spark 自带的一种部署方式，它可以作为一...
Hive on Spark安装配置详解.pdf
03-11
Hive on Spark默认支持Spark on YARN，这是因为YARN作为资源管理器，可以更好地管理和调度Spark任务。在Spark on YARN模式下，又分为Cluster和Client两种部署模式。Cluster模式下，Driver程序在ResourceManager上...
三、Spark源码--Spark On Yarn 提交过程
大数据之路
06-22 534
本篇主要记录看源码的一个执行过程路径，简要记录，方便以后理清思路，或者给正在看源码的提供一个思路。还是对着源码看看相信会有很大的收获。 入口 spark 提交的任务入口都是SparkSubmit，从SparkSubmit.scala main class开始 main ==> submit(appArgs) ==> prepareSubmitEnvironment  准备提交环...
Spark源码解析（三）任务提交流程分析
Yuan_CSDF的博客
05-08 317
通过学习Spark源码为了更深入的了解Spark。主要按照以下流程进行Spark的源码分析，包含了Spark集群的启动以及任务提交的执行流程： Spark RPC分析 start-all.sh Master启动分析 Work启动分析 spark-submit.sh脚本分析 SparkSubmit分析 SparkContext初始化 5.spark-submit.sh脚本分析 通过spark-submit.sh提交任务，查看详细信息，如下： set CLASS=org.apache.spa
spark任务执行过程，源码分析和on Yarn调度过程
syl_1264946104的博客
11-21 1388
一、spark源码分析执行流程 当spark遇到action类算子，开始调起任务 1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法，根进源码发现底层调用的是DAGScheduler的runJob()方法。 2.DAGScheduler会将我们的job按照宽窄依赖划分为一个个stage(每个stage根据RDD的Partition的个数决定tas...
"深入理解Spark on Yarn的启动流程与源码编译
Spark的初始化源码阅读主要涉及到SparkOnYARN中的client和cluster区别以及编译源码包和启动流程。首先，要进行Spark初始化源码阅读，需要下载Spark源码并在Linux系统上进行编译。在编译之前，需要安装JDK(1.8)和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值