Spark RDD的Action执行过程源码分析——宽依赖与窄依赖stage划分以及stage的submit

最新推荐文章于 2023-08-15 10:55:29 发布
最新推荐文章于 2023-08-15 10:55:29 发布
阅读量151 收藏
点赞数
分类专栏： Spark 文章标签： Spark Spark源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41321219/article/details/96012228
版权

通过RDD的foreach方法触发Action
在这里插入图片描述
调用SparkContext的runJob方法
在这里插入图片描述
DAGScheduler的runJob方法
在这里插入图片描述
在这里插入图片描述

DAGSchedulerEventProcessLoop接收到JobSubmitted
在这里插入图片描述
handleJobSubmitted分析
在这里插入图片描述
在这里插入图片描述
分析调用的submitStage方法,这里只要就是对父stage的划分(宽依赖和窄依赖)
在这里插入图片描述
分析getMissingParentsStages,从下往上一步步分析父rdd是否为宽依赖,若为宽依赖就以这个父rdd为界向上划分新的stage
在这里插入图片描述
然后我们回到上面的submitStage方法中的出口,submitMissingTasks方法
在这里插入图片描述
在这里插入图片描述
SubmitMissingTasks中最为关键的部位
在这里插入图片描述
分析一下stageStart方法的实现
在这里插入图片描述

SubmitMissingTasks方法非常复杂,并且其中涉及了继承Serializable的类,可见我们的分析已经到达了通信层.由于时间关系把这个方法的解读放到下次吧.

Tom_coding
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 1663
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄...ps:Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前
那些年我们对Spark RDD的理解
热门推荐
stark_summer的专栏
12-09 3万+
这篇文章想从spark当初设计时为何提出RDD概念，相对于hadoop，RDD真的能给spark带来何等优势。之前本想开篇是想总体介绍spark，以及环境搭建过程，但个人感觉RDD更为重要铺垫 在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce作业之间数
Spark Stage 的划分
weixin_30906701的博客
02-26 360
Spark作业调度 对RDD的操作分为transformation和action两类，真正的作业提交运行发生在action之后，调用action之后会将对原始输入数据的所有transformation操作封装成作业并向集群提交运行。这个过程大致可以如下描述： 由DAGScheduler对RDD之间的依赖性进行分析，通过DAG来分析各个RDD之间的转换依赖关系 根据DAGSc...
Spark_Spark中 Stage, Job 划分依据 , Job, Stage, Task 高阶知识
最新发布
迎难而上
08-15 1345
Task内部有一个成员变量：preferredLocations表明了这个Task的位置偏好，这个变量的值是根据Task的数据的位置得到的，可以是一个hostName或者execotorId。例如，如果Task的数据是在192.168.5.101和192.168.5.102这两台机器上，那么：forExecutor是一个HashMap，key为executorId，value是preferredLocations为这个executor的所有task的taskId。
SPARK 宽依赖 和窄依赖 transfer action lazy策略之间的关系
野兽
09-20 387
  下面这段在网上拷贝的   宽依赖 和窄依赖   说明该操作是 是否有shuffler 操作   成长(lineage )的来源         最有趣的部分是DAGScheduler。下面详解它的工作过程。RDD的数据结构里很重要的一个域是对父RDD的依赖。如图3所示，有两类依赖：窄（Narrow）依赖和宽（Wide）依赖。    图3 窄依赖和宽依赖 窄依赖指父RDD的...
Spark RDD是什么？
01-07
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节将对 RDD 的基本概念及...
第二章 Spark RDD以及编程接口
01-07
第二章 Spark RDD以及编程接口 目录 Spark程序”Hello World” Spark RDD 创建操作 转换操作 控制操作 行动操作 注：学习《Spark大数据处理技术》笔记 1. Spark程序”Hello World” 1. 概述 计算存储在HDFS的Log...
Spark源码系列（二）RDD详解
01-30
上一章讲了Spark提交作业的过程，这一章我们要讲RDD。...3、对其他的RDD的依赖列表，依赖还具体分为宽依赖和窄依赖，但并不是所有的RDD都有依赖。4、可选：key-value型的RDD是根据哈希来分区的，类似于mapreduce当中
Spark快速大数据分析——第四章键值对操作——两个Pair RDD的转化操作
01-07
键值对 两个Pair RDD 转化操作 val conf = new SparkConf().setMaster(local).setAppName(PairRDD) val sc = new ...1、删掉RDD中与other RDD 中的键相同得元素 (1, 2), (3, 4), (3, 6) privateval subtra
Spark宽窄依赖详解
modefrog的博客
03-16 2万+
1.宽窄依赖 图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。例如GroupByKey，reduceByKey，join，sortByKey等操作。图右边是窄依赖，父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号...
大数据Spark04RDD宽窄依赖
yangshaojun1992的博客
11-04 1364
术语解释 窄依赖和宽依赖 RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。 窄依赖 父RDD和子RDD partition之间的数据关系是一对一的。 或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。 宽依赖 父RDD与子RDD partitio
spark stage 的理解
a469517790的博客
04-21 923
先看看依赖关系的解释：如下图，左边的一系列操作，map,filter,union，join操作都是窄依赖，而这一系列的窄依赖，都是转换的过程，并不会触发action，因此，spark会将这些转换放在同一个阶段Stage2中。而宽依赖会触发action，因此作为另一个阶段Stage3...
宽依赖窄依赖+stage划分
Tomorrow never comes
03-06 2918
1.RDD的依赖关系1.1  WordCount中的RDDRDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。1.2  窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用总结：窄依赖我们形象的比喻为独生子女1.3  宽依赖宽依赖指的是多个子RDD的Partitio...
Spark常见20个面试题（含大部分答案）
zuolixiangfisher的博客
04-29 3万+
1、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？ 窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter 或者多个父RDD分区对应一个子RDD分区，如co-partioned join 宽依赖是一个父RDD分区对应非全部的子RDD分区，如groupByKey，ruduceByKey 或者一个父RDD分区对应全部的子RDD分区，如未经协同划分的join https:/......
Spark DAG之SubmitStage
u011564172的博客
04-24 9356
介绍提交Stage的流程
Spark任务中Stage划分算法及Task任务本地性算法原理
hellojoy的博客
07-17 2069
http://www.aboutyun.com/thread-19729-1-1.html   问题导读： 1、Spark Job Stage划分算法有哪些？ 2、Task最佳计算位置算法如何理解？ 3、Task任务本地算法运用场景有哪些？一、Stage划分算法 由于Spark的算子构建一般都是链式的，这就涉及了要如何进行这些链式计算，Spark的策...
Spark的job触发流程原理与stage划分算法分析
kongshuchen的博客
07-26 4061
Spark的application中有多个action操作，每个action操作都会触发RDD的runJob操作，每个job以action操作为界限，而RDD的runJob则在SparkContext的runJob中调用，SparkContext的runJob底层会调用dagScheduler的runJob方法。 在DAGScheduler中，会将每个job划分成多个stage，每个stage会创
浅谈Spark中的宽依赖和窄依赖
一个数据小开发的博客
04-28 1978
1、何为Spark中的宽依赖和窄依赖 1.1、官方源码解释 1.1.1、NarrowDependency（窄依赖） /** * :: DeveloperApi :: * Base class for dependencies where each partition of the child RDD depends on a small number * of partitions of the parent RDD. Narrow dependencies allow for pipelin
什么是窄依赖？什么是宽依赖？它们在DAG划分Stage时有什么作用？
04-28
在DAG划分Stage时，窄依赖可以让Spark将多个分区合并到同一个Stage中，从而减少Stage的数量，提高处理效率。而宽依赖则需要进行Shuffle操作，因此需要将父RDD和子RDD分到不同的Stage中，从而保证Shuffle操作能够正确...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值