Spark源码解读之Job提交

最新推荐文章于 2022-08-18 11:51:09 发布
最新推荐文章于 2022-08-18 11:51:09 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： spark 文章标签： Spark Spark Job
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw_classmate/article/details/53690676
版权
本文深入探讨了Spark中触发Job执行的action操作，如WordCounts.collect()，并详细介绍了从SparkContext.runJob到DAGScheduler.handleJobSubmitted的调用流程，揭示了Job提交背后的事件处理机制和线程模型。
摘要由CSDN通过智能技术生成

上一篇讲解了Spark源码解读之RDD构建和转换过程，上一篇的RDD操作都是transform，也就是说结果会是一个新的RDD，并不会进行真正地计算，真正会引发Spark计算操作时action。比如first、count、collect。

WordCounts.collect()会真正出发一个Job的执行。


调用流程：

org.apache.spark.SparkContext.runJob

org.apache.spark.scheduler.DAGScheduler.runJob

org.apache.spark.scheduler.DAGScheduler.submitJob

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.post

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.run

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive

org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive

org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted


最低0.47元/天 解锁文章
Wang_AI
关注
专栏目录
第6课：Spark Streaming源码解读之Job动态生成和深度思考
段智华的博客
05-12 643
第6课：Spark Streaming源码解读之Job动态生成和深度思考   /** * This class schedules jobs to be run on Spark. It uses the JobGenerator to generate * the jobs and runs them using a thread pool. */ private[streaming]
Spark源码解读之RDD构建和转换过程
Oner.wv的专栏
12-15 2376
上一节讲了Spark Context的初始化过程，发现其实一行简单的new SparkContext(sparkConf)代码，spark内部会去做很多事情。这节主要讲RDD的构建过程。 一、 RDD概述     RDD (Resilient Distributed Dataset) ，一个弹性分布式数据集，Spark中的基本抽象。代表一个不变（只读）的、可以并行操作的元素的分区集合。Spar
【Spark】SparkContext源码解读
Jason Ding的专栏
07-14 2901
SparkContext的初始化SparkContext是应用启动时创建的Spark上下文对象，是进行Spark应用开发的主要接口，是Spark上层应用与底层实现的中转站（SparkContext负责给executors发送task）。 SparkContext在初始化过程中，主要涉及一下内容： SparkEnv DAGScheduler TaskScheduler Sche
Spark源码解读(一)
一个有深度的博客
06-25 1415
一、spark通过yarn启动的过程 在spark通过yarn提交的时候，会去执行SparkSubmit的main方法。 override def main(args: Array[String]): Unit = { val submit = new SparkSubmit() { self => override protected def parseArguments(args: Array[String]): SparkSubmitArguments =
spark源码解读
笔尖的痕的专栏
09-23 853
http://www.cnblogs.com/fxjwind/category/518904.html
Spark源码深度解读
11-29
Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。
Spark之 源码解读系列
weixin_36630761的博客
09-01 221
链接：http://blog.csdn.net/oopsoom/article/details/38257749
Spark修炼之道（高级篇）——Spark源码阅读：第三节 Spark Job的提交
摇摆少年梦的技术博客
10-19 9348
前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{ def main(args: Array[String]) { if (args.length == 0) {
Spark Streaming源码解读之Job详解
热门推荐
snail_gesture的博客
05-15 1万+
一：Spark Streaming Job生成深度思考 1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。 2. JobGenerator构造的时候有一个核心的参数是jobScheduler,
Spark-2.3.1源码解读
10-20
Spark-2.3.1源码解读。 Spark Core源码阅读 Spark Context 阅读要点 Spark的缓存，变量，shuffle数据等清理及机制 Spark-submit关于参数及部署模式的部分解析 GroupByKey VS ReduceByKey OrderedRDDFunctions那些事 高效使用mappartitions standalone模式下executor调度策略 Spark Sql源码阅读 Spark Sql源码阅读 hive on spark调优 Spark SQL 多维聚合分析应用案例 Spark Streaming源码阅读 动态发现新增分区 Dstream join 操作和 RDD join 操作的区别 PIDController源码赏析及 back pressure 实现思路 Streaming Context重点摘要 checkpoint 必知必会
Spark源码解读(4)——RDD
scalahome的博客
07-27 1075
1，RDD的转换共分为Transformation和Action两类 Transformation和Action的区别在于：Action会触发作业的提交，而Transformation不会触发作业的提交 如map()和collect() def map[U: ClassTag](f: T => U): RDD[U] = withScope { val cleanF = sc.cl
Spark源码解析（一）
MOON
07-14 813
RDD之getNarrowAncestors内部方法分析 最近开始spark的源码攻关，其实看源码一直是我最怕的东西，因为太多、太杂、太深导致不能够很好的把我脉络导致每次最后都放弃。有人跟我说看源码可以阶段性一个方法一个方法的去学习，去看，每天积累一点总会成功，那么今天开始我的第一天spark源码分析。 我这里从spark最基本的RDD中的方法说起，我感觉这样会更容易一些。同时我只对其中感觉比
Spark源码解读之Master剖析
不清不慎的博客
07-27 570
在上篇文章中我们剖析了SparkContext创建启动的整个流程，但是在创建SparkContext之后，TaskScheduler是如何向master注册application，以及master是如何调度worker启动的？带着这些问题我们来看看master的内部构造。 首先我们从下面这四个方面来深入Master源码来探究： 主备切换切换机制 注册机制 状态改变机制 资源调度机制（两种资源...
spark 源码分析
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-13 366
spark 一、 启动篇 (一) 引子 在spark-shell终端执行 val arr=Array(1,2,3,4)val rdd=sc.makeRDD(arr) rdd.collect 以上3行代码构成了一个完整的spark job执行。 (二) 启动篇 shell模式shell模式下启动入口：org.apache.spark.repl. Main submit模式 ...
Spark源码解读由浅入深 宽窄依赖篇
log1119的博客
08-18 836
本文基于Spark源码解读，从概述开始，由浅入深分析了宽窄依赖的实质，有利于加深读者对宽窄依赖的理解。
Spark源码分析
YC
11-15 1889
Driver，Master，Worker，Executor 每个App通过Driver使用Cluster：首先向Master注册App，然后每个Worker为其创建一个Executor。 RDD，Partition，Task 每个RDD包含多个Partition，为了计算RDD，在Executor上为RDD的每个Partition创建一个Task负责计算相应的Partition，在一个Exe
spark源码分析
LaZY的博客
04-30 687
rdd变换： textfile（）加载文件：返回hadoopRDD（创建HadoopRDD之前，先将hadoopConfiguration进行广播）调用map方法，最终返回MapPartitionsRDD 详细流程：https://blog.csdn.net/weixin_43093501/article/details/89492421 rdd提交： sparkcontext运行作...
Spark源码解析：Job提交与运行详解
本文主要探讨了Apache Spark源码中的Job提交与运行机制，以wordCount为例进行详细解析。首先，作者介绍了实验环境的准备步骤，包括下载Spark binary（版本0.9.1），安装Scala、SBT（Sbt构建工具）和Java。在Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值