Spark中Stage任务划分源码跟踪并简单解析|任务提交阶段|Stage划分阶段|Task提交阶段

最新推荐文章于 2021-11-27 11:13:32 发布
最新推荐文章于 2021-11-27 11:13:32 发布
阅读量241 收藏
点赞数
分类专栏： Spark模块化学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40180229/article/details/105632380
版权
作业提交阶段进入到collect()方法中进入到runJob()方法中继续进入runJob()方法中进入到runJob()方法中进入到runJob()中进入到dagScheduler.runJob()方法中进入到submitJob()方法中进入到post方法中找到eventQueue的实现类(ct...
摘要由CSDN通过智能技术生成

作业提交阶段

  1. 进入到collect()方法中

在这里插入图片描述

  1. 进入到runJob()方法中

在这里插入图片描述

  1. 继续进入runJob()方法中

在这里插入图片描述

  1. 进入到runJob()方法中

在这里插入图片描述

  1. 进入到runJob()中

在这里插入图片描述

  1. 进入到da
最低0.47元/天 解锁文章
SmallScorpion
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark源码----Spark任务划分、调度、执行
没有合适的昵称
03-01 1638
从RDD的创建开始讲起 把它当做入口,然后点进去 主要关注hadoopFile,进去会发现new了一个HadoopRDD 以上其实就是一个RDD的构建过程 又比如我们看flatMap,它一样会去构建一个新的RDD,把之前的RDD给传进去了 又比如我们看map,它一样会去构建一个新的RDD,把之前的RDD给传进去了 在换一个算子reduceByKey,点进去,包含一个默认的分区器 然后再...
Stage划分源码分析
ThreeAspects的博客
12-17 613
  当发现哪个stage报错或者执行特别慢，需要针对对应代码排查问题和性能调优，因此必须对stage划分算法很清晰，知道spark Application被划分成了几个job，每个job被划分成了几个stage，每个stage包括哪些代码。 stage 划分思想：   由submitStage() 和getMissingParentStage() 组成。会从触发Action操作的那个RDD开始往前...
spark最新版本3.0.0中job划分、调度以及任务的提交执行流程源码分析
newhandnew413的博客
07-31 1072
文章目录前言一 整个任务的流程图示二 任务的划分、调度和执行1 调用行动算子生成job2 划分阶段并发送Task给Executor3 Executor执行Task 前言 上文我们对spark整个应用运行流程进行了整体的分析，但是后面最后一步关于任务的划分、调度和执行就一笔带过了，今天我们就来对spark任务的执行流程的底层源码分析，搞懂这个会对我们理解spark几个术语有比较清楚的理解了，如： 术语 描述 关系 job 工作 调用一个行动算子就会有一个job生成 stage 阶段 有一
spark任务划分源码点击流程
andy的博客
11-27 69
=====================================Stage划分源码 collect算子点进去 点runjob runjob runjob runjob runjob 直到进入DAGScheduler类的734行的runjob方法 DAGScheduler类的742行有一个submitJob(提交job的方法) 点进去 进入到 681行 往下翻 来到714行 有个eventProcessLoop.post() DAGScheduler将任务压到消息队列里面 点进去进入到EventL.
spark任务分配----TaskSchedulerImpl源码解析 TaskSchedulerImpl
08-13 311
TaskSchedulerImpl 上一篇讲到DAGScheduler根据shuffle依赖对作业的整个计算链划分成多个stage之后，就开始提交最后一个ResultStage，而由于stage之间的依赖关系，实际上最终是循着计算链从上到下依次提交stage的。每提交一个stage，就会将这个stage分成多个Task，并且会计算每个Task的偏向位置，将RDD和ShuffleDependency，TaskMetrics等对象序列化用于远程传输，最后把一个stage的所有Task包装成一个任务集，提交给T.
Apache-Spark2.20源码中文注释
06-02
当用户提交任务时，Spark 将一系列操作转换成 DAG，并通过调度器进行任务分解和资源分配。 3. **存储系统**：Spark 支持内存和磁盘混合存储，通过缓存机制实现数据复用，提升计算效率。Tachyon 和 HDFS 是常见的...
Spark-内核源码解析.docx
12-05
Spark 内核源码解析 Spark 是一个大规模数据处理框架，它的核心原理和架构组件对开发者和研究人员来说非常重要。为了深入了解 Spark 的内部机制，我们需要对其内核源码进行深入分析。 Application/App 在 Spark ...
Spark源码剖析
05-22
在 Standalone 模式下，Spark 自带了简单的调度器，而在集群环境中，它可以利用资源管理器来更有效地分配任务。 7. **容错机制**：Spark 通过 lineage（血统）来实现容错，如果某部分数据丢失，可以通过重新计算...
spark-广播变量基础及源码解析
最新发布
04-08
Spark 广播变量基础及源码解析 Spark 广播变量是一种高效的数据共享机制，在 Spark 中广泛应用于大数据处理和机器学习等领域。广播变量可以使我们在每台机器上都缓存一个变量，而不会每次都随着 task 的生成进行...
spark新手上路之源码解析.pdf
11-14
Stage 是 DAG 中一组可以并行执行的任务，而 Task Scheduler 负责将任务分配给执行器。 9. **Shuffle 过程** Shuffle 是数据重新分布的过程，通常发生在宽依赖之后。它包括两个阶段：Shuffle 写，将数据分区写入...
spark2.2.0中stage划分的源码解析
qq_34896163的博客
01-18 892
这里主要讲解的是stage的划分。stage的划分工作是在DAGScheduler中完成的，在DAGScheduler中会将一个job根据宽窄依赖划分为多个stage。下面会详细介绍stage的划分过程。 1.首先你需要有一个spark2.X源码，因为你可以在源码的基础上进行注释，方便你后期的学习。 双击shift->输入RDD ​ 2.进入到RDD的源码，你会发现我们调用的spar...
Spark划分Shuffle依赖以及创建Stage的流程
吟啸徐行
04-08 3273
博客为笔者学习过程中，自我的理解和总结，难免存在错误，如果给您造成困扰请原谅，同时希望指点迷津 上一篇博文介绍了Spark提交作业的流程以及作业是如何被触发在集群中运行的，答案便是：action算子中调用sparkContext.runJob方法触发执行的，当我们执行rdd的action算子时候，这时候就会调用sparkContext的runJob方法，在runJob方法中完成调用dag
Spark源码解析之Stage划分
dmy1115143060的博客
08-31 715
        这里以count操作为例，一步步解析Spark在执行一个Job时如何进行DAG图的解析。Spark在遇到Action类型算子时，会使用SparkContext进行一系列的runJob方法调用，最终会调用DAGScheduler的runJob方法来划分DAG图。 一、runJob方法调用 // 计算RDD中包含的键值对个数，此时会触发一个SparkContext来提交执行Job...
Spark源码阅读2 —— Stage划分
liwenbluesky的专栏
09-12 977
阿里云的数据集成（DataWorks）：https://help.aliyun.com/document_detail/188048.html 一、为什么需要划分Stage 因为程序是分布式集群中运行的，一个Stage依赖于另一个Stage的结果，并且执行是有先后顺序的，所以要划分。划分出来的stage是放在集群中运行的，其中每个stage有多个task，每个task的逻辑一样，只是对应的分区是不相同，这多个task被分布在不同的机器上并发执行.不同的资源调度框架：yarn、mesos、local等生成
Spark由宽依赖创建Stage过程源码解读
weixin_41812379的博客
10-31 273
我们来探讨一下Spark创建Stage的源码过程。 首先，下面我提供一个很简单的测试。我们将一个List经过了两次map和一次reduceByKey后的RDD用collect执行。 object TransTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("TransTest") val sparkContext = new Spa
Spark2.3.2源码解析：9.调度系统 DAGScheduler 之 Stage 划分源码详解
张伯毅的专栏
12-22 8722
Stage划分的时候，大家应该都知道是从最后一个stage向根据宽窄依赖，递归进行stage划分。 但是代码里面涉及的逻辑复杂。毕竟涉及到相互递归调用。让人似懂非懂。 反正我是炸毛了 o(╥﹏╥)o 本文专门用一篇文章详细论述DAGScheduler 的 stage 划分流程 为了更容易理解，本文采用 debug模式+实例+源码的方式进行讲解 首先写一个WordCount代码（这个代码，为...
DAGScheduler之Job的提交划分Stage
xw514124202的博客
08-04 785
整体流程图 源码分析 spark 2.3 getOrCreateParentStages 创建所有祖先Stage /** * Get or create the list of parent stages for a given RDD. The new Stages will be created with * the provided firstJobId....
spark源码之Job执行(1)stage划分与提交
sinat_22336563的博客
06-12 1187
以reduce操作为例，看看作业执行的流程def reduce(f: (T, T) => T): T = withScope { val cleanF = sc.clean(f) val reducePartition: Iterator[T] => Option[T] = iter => { if (iter.hasNext) { Some(iter.r
Spark之Stage的生成及任务的执行
Dreamming Time的博客
06-18 2275
每一个Spark应用都会创建一个sparksession，用来跟Spark集群交互，如果提交任务的模式为cluster模式，则Driver进程会被随机在某个worker结点上启动，然后真正执行用户提供的入口类，或是使用Spark内置的入口类，同时在Driver中会创建 clientmasterworkerdriverdirverexecutorRequestSubmitDriverLaunchDrivernew DriverRunner["deploy.worker.DriverWrapper"]Proce
Spark源码深度解析：DAG模型与性能优化
相比于Hadoop，Spark引入了DAG（有向无环图）编程模型，将复杂的任务分解为多个阶段（Stage），每个阶段包含多个并行执行的任务。这种设计减少了对HDFS的I/O操作，提升了数据处理速度，尤其是对于较长的数据处理链路...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值