spark提交job任务，源码分步骤拆解

最新推荐文章于 2023-08-01 18:57:06 发布
最新推荐文章于 2023-08-01 18:57:06 发布
阅读量222 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34803501/article/details/105883961
版权
本文详细介绍了Spark作业提交的整个流程，包括任务提交、DAG图创建、计算Task运行的最佳位置以及TaskSet的创建。从driver进程的创建到executor的启动，再到DAGScheduler如何拆解任务为DAG图，以及TaskScheduler如何根据stage划分taskset并提交到executor执行。文章深入到源码层面，解析每个关键步骤的具体实现。
摘要由CSDN通过智能技术生成

spark提交job任务，源码分步骤拆解

流程

  1. spark客户端提交job
  2. 通过反射创建driver进程
  3. driver创建sparkContext对象
  4. 初始化sparkContext过程中，构建DAGScheduler和TaskScheduler
  5. TaskScheduler根据后台进程去连接Master向Master注册Application
  6. Master接收到Application的注册后，根据资源调度算法，在spark集群中为app启动多个executor
  7. master为每一个executor分配资源
  8. executor反向注册至driver，drvier完成sparkContext初始化、
  9. DAGScheduler根据任务进行job拆解成DAG图，划分stage
  10. TaskScheduler根据stage划分taskset
  11. taskScheduler会把Taskset里面的每一个pipeline提交到executor中执行
  12. 每一个executor都有一个线程池 ，executor会从根据每一个线程运行给一个TaskRunner
  13. 每一个task根据partition执行算子和函数

分步骤拆解详细流程

提交任务

提交任务行为是由执行算子创建的，比如foreach，count，collect等，标志性的表现就是在这些算子的源码中有一条sc.runJob，而其他转化型算子返回的是rdd，并不执行run操作

DAG图创建

  1. sc类中1928行runjob方法执行，会执行其中的dagScheduler的runJob方法

最低0.47元/天 解锁文章
学不会的大数据
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark——Job逻辑执行图
小菜鸟的博客
04-18 2217
Job逻辑执行图典型的Job逻辑执行图如上所示,经过下面四个步骤可以得到最终执行结果:1.从数据源(可以是本地file,内存数据结构, HDFS,HBase等)读取数据创建最初的RDD。2.对RDD进行一系列的transformation()操作,每一个transformation()会产生一个或多个包含不同类型RDD。3.对最后的final RDD进行action()操作,每个partition...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Java提交Spark任务到YARN平台是一项常见的大数据处理操作，它结合了Java的编程能力和Spark的高性能计算框架，以及Hadoop的资源管理系统YARN。在这个过程中，开发者需要理解多个关键概念和配置步骤，以便有效地调度和...
Apache Spark源码走读之2 -- Job的提交与运行
weixin_33953249的博客
04-21 114
欢迎转载，转载请注明出处，徽沪一郎。 概要 本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满足。 下载spark binary 0.9.1 安装scala 安装sbt 安装java 启动spark-shell 单机模式运...
Spark job提交过程
cjlion的专栏
06-30 2411
本文基于spark2.111. 前言1.1 基本概念RDD关于RDD已经有很多文章了，可以参考一下理解Spark的核心RDD依赖依赖分为窄依赖和宽依赖，下图描述了两种依赖(图片出自spark窄依赖和宽依赖)20160913233559680.jpeg从途中可以看出，窄依赖中，每一个上游RDD中的分区只会被一个下游分区依赖。而宽依赖上游RDD中的分区则可能被多个下游分区依赖。宽依赖往往意味者shuf...
Spark Task Scheduler划分task过程
qq_37163925的博客
06-02 864
前言 前面分析过了DAG Scheduler划分stage的过程【感兴趣的话可以看看DAG Scheduler划分stage的过程】，现在我们开始看看Task Scheduler是如何划分Task的。 正文 首先看DAG Scheduler提交TaskSet的方法，这个方法是submitMissingTasks(stage: Stage, jobId: Int)方法。(这个方法把stage和jobID传进去，stage存的是stage的最后一个RDD，这个RDD可以通过血缘关系将前面的RDD序列化) p
Spark-任务怎么切分
qq_40382400的博客
08-01 341
（1）Application：初始化一个SparkContext即生成一个Application；（4）Task：一个Stage阶段中，最后一个RDD的分区个数就是Task的个数。（2）Job：一个Action算子就会生成一个Job；（3）Stage：Stage等于宽依赖的个数加1；
java提交spark任务到yarn平台的配置讲解共9页
11-21
在分布式计算领域，Apache Spark和YARN（Hadoop Yet Another Resource Negotiator...理解这些步骤和相关配置对于高效运行大规模Spark任务至关重要。在实际操作中，还需要根据具体环境和需求进行微调，以达到最佳性能。
大数据Spark YarnCluster模式源码分析——提交任务2（手把手看源码）
01-07
上一篇博文，我们看了在Yarn Cluster模式下，从Spark-submit提交任务开始，到最后启动了ExecutorBackend线程，也就是进行到了图中的第9步。 上一篇博文地址：...
基于Scala的Spark学习项目设计源码
最新发布
04-04
本设计源码提供了一个基于Scala的Spark学习项目。项目包含95个文件，主要使用Scala和Java编程语言。文件类型包括80个Scala源代码文件、4个XML配置文件、3个TXT文档、2个Markdown文档、2个Java源代码文件、1个GIT忽略...
Spark Core快速入门系列(5) | Spark中job的划分
Knight
08-18 915
当遇到了宽依赖就会产生一个新的阶段 我们再多增加一条repartition(宽依赖) 再次查看多了一个stage 总结 job： 一个应用中，每碰到一个action，就会起一个job 一个应用可以有多个job stage： 阶段. 每碰到一个宽依赖就会在这个job内创建一个新的stage (如果遇到宽依赖的时候，用的分区器和当前一样，则不会起新的) 一个job至少有一个阶段 stage划分是从后向前划分，执行一定是从前往后 task 体系了执行数据分析的并行.
Spark中job、stage、task的划分+源码执行过程分析
热门推荐
hjw199089的博客
09-11 1万+
job、stage、task  Worker Node：物理节点，上面执行executor进程 Executor：Worker Node为某应用启动的一个进程，执行多个tasks Jobs:action 的触发会生成一个job, Job会提交给DAGScheduler,分解成Stage, Stage:DAGScheduler 根据shuffle将job划分为不同的stage，同一个sta
spark job提交
jason的笔记
08-08 791
当用户生成sparkcontext是，在读入文件， 可以看出这里直接调用rdd的saveAsTextFile spark-master\spark-master\core\src\main\scala\org\apache\spark\api\java\JavaRDDLike.scala def saveAsTextFile(path: String): Unit = { #触发rdd的a...
Spark如何提交job
sonia_liss的博客
08-22 526
spark提交job方式 standalone方式 client 模式 cluster模式 yarn方式 client模式 完整体提交job语句： spark-submit --master yarn --deploy-mode client --executor-memory 2G --executor-cores 1 --class org.apache.spark.examp...
Spark Job 物理执行图详解
微信搜：import_bigdata，大数据领域硬核原创作者
04-13 313
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源在读本文前，你需要先预习：《Spark Job 逻辑执行图和数据依赖解析》《Spark的Cache和Checkpoint区别和联系...
Spark任务提交底层原理
djph26741的博客
11-07 261
Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Task...
Spark：Job的三种提交模式
简单随风的博客
09-03 464
第一种，standalone模式，基于Spark自己的standalone集群。 指定–master spark://bigdata01:7077 第二种，是基于YARN的client模式。 指定–master yarn --deploy-mode client 这种方式主要用于测试，查看日志方便一些，部分日志会直接打印到控制台上面，因为driver进程运行在本地客户端，就是提交Spark任务的那个客户端机器，driver负责调度job，会与yarn集群产生大量的通信，一般情况下Spark客户端机器和Ha.
spark job提交5
jason的笔记
08-14 582
最终调用makeOffers来让所有的task执行在work中的executors spark-master\spark-master\core\src\main\scala\org\apache\spark\scheduler\cluster\CoarseGrainedSchedulerBackend.scala private def makeOffers() { // ...
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 8755
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
spark shell 删除失效_spark任务提交源码解析
03-16
Spark Shell 删除失效是指在使用Spark Shell时，无法...一般来说，Spark任务提交源码解析主要涉及Spark的任务调度、资源管理、任务分配等方面的内容。如果您需要更具体的帮助，可以提供更详细的问题描述或背景信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值