Spark stages和依赖的划分

最新推荐文章于 2024-03-23 23:50:38 发布
最新推荐文章于 2024-03-23 23:50:38 发布
阅读量475 收藏 1
点赞数
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/freefish_yzx/article/details/77619751
版权

1.1.  RDD的依赖关系

RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。


1.1.1.  窄依赖

窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用

总结：窄依赖我们形象的比喻为独生子女  即可以是一对一

多对一

1.1.2.  宽依赖

宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition

总结：窄依赖我们形象的比喻为超生一对多

多对多



分析上图有几个stage

宽依赖是划分Stage的依据。每有一个宽依赖的上一个阶段为stage

freefish_yzx
关注
专栏目录
Spark进阶学习——Stage划分
Miracle_shen的博客
06-22 965
本文要解决的问题：由于近期重点需要研究Spark的调度优化问题，所以对这一块进行重点分析。 本文主要讨论Spark中Stage的划分。当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分，再生成Ta
大数据之 spark 任务划分
代妈炼金术师
01-25 540
在实际运行过程中，Spark的DAGScheduler首先将Job拆分成Stages，然后TaskScheduler将Stages进一步分解成Task，并将Task分配给各个Executor执行。这个过程确保了数据处理可以在分布式集群上高效并行运行。Apache Spark 中的任务划分（Task Scheduling）是一个关键的优化过程，它影响到整个Spark作业执行的效率和性能。
【Spark篇】--Spark中的宽窄依赖和Stage的划分
L先生AI课堂
02-05 456
一、前述 RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。 Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。 二、具体细节   窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffl...
spark stage
stuliper的专栏
08-09 352
spark RRD 依赖关系： 窄依赖：每个父RRD的分区至多被一个子RDD的分区使用，协同划分，分区一一对应。 宽依赖（ShuffleDependecy）：多个子RDD的分区依赖一个父RDD的分区。宽依赖需要所有的父RDD分区数据可用。宽依赖会重新分区。               宽依赖操作会有一个可选参数（手动设置分区数）。               宽依赖对应的RDD实现是Shu...
Spark Stage
最新发布
03-23 3万+
Spark中的一个Stage只不过是物理执行计划其中的一个步骤，它是物理执行计划的一个执行单元。一个Job会被拆分为多组Task，每组任务被称为一个Stage，可以简单理解为MapReduce里面的Map Stage， Reduce Stage。Spark的Job中Stage之间会有依赖关系。可以利用这些依赖关系把Job所有stage串连起来形成一个有向无环图。在单个job内是根据shuffle算子来拆分stage的，shuffle之前是一个stage，shuffle之后是另一个stage，如果一个job中
Spark源码阅读2 —— Stage划分
liwenbluesky的专栏
09-12 1033
阿里云的数据集成（DataWorks）：https://help.aliyun.com/document_detail/188048.html 一、为什么需要划分Stage 因为程序是分布式集群中运行的，一个Stage依赖于另一个Stage的结果，并且执行是有先后顺序的，所以要划分。划分出来的stage是放在集群中运行的，其中每个stage有多个task，每个task的逻辑一样，只是对应的分区是不相同，这多个task被分布在不同的机器上并发执行.不同的资源调度框架：yarn、mesos、local等生成
Spark源码学习: stage的划分方式
weixin_40828249的博客
09-09 411
之前学习Spark的时候, 关于宽窄依赖以及stage划分, 一直都知道几句话: 宽依赖和窄依赖的一个重要区别是有无shuffle 根据宽依赖来进行stage划分 在DAG中进行反向解析, 遇到宽依赖就断开, 遇到窄依赖就把当前的RDD加入到当前的阶段中 虽然知道了, 但是好像跟背书没什么区别. 还是得知其所以然的 直接看涉及stage划分的这段源码吧. 定位起来也很简单, 写一个Action...
Spark Stage 的划分
mahuacai的专栏
07-15 6319
想了解Shuffle 的处理流程，首先要了解Spark是如何划分Stage的。下面，让我们看看 Spark 是如何根据RDD 的依赖关系来划分Stage。      首先 我们必须要理解 Spark 中RDD的依赖关系.            1.Rdd的依赖关系:           Rdd的依赖有两种:                1.宽依赖(Wide Dependency)
Spark-RDD阶段划分源码解析
食鱼酱的博客
08-05 414
Spark版本2.4.5，从RDD.scala的collect函数为入口分析阶段划分流程 // --------------- 1 ----------------- def collect(): Array[T] = withScope { // 跳进这个runJob val results = sc.runJob(this, (iter: Iterator[T]) => iter.toArray) Array.concat(results: _*) } // --------.
Spark由宽依赖创建Stage过程源码解读
weixin_41812379的博客
10-31 391
我们来探讨一下Spark创建Stage的源码过程。 首先，下面我提供一个很简单的测试。我们将一个List经过了两次map和一次reduceByKey后的RDD用collect执行。 object TransTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("TransTest") val sparkContext = new Spa
Spark中划分stage的规则
weixin_42135730的博客
07-29 862
RDD操作 转化（Transformation）：泛指接收RDD作为输入，并输出RDD的函数。被划分为窄依赖和宽依赖。 行为（Action）：将RDD转化为非RDD的变量的操作。通常用于返回RDD计算的最终结果。 窄依赖和宽依赖 窄依赖（Narrow Dependencies）：父RDD集的一个分区最多被子RDD集的一个分区所依赖。 常见的有map, flatMap, filte...
Spark源码之Stage的划分
weixin_46429290的博客
06-06 913
先看一下Stage的规律 可以看到只有一个阶段，Stage-0如果是join操作呢？ 可以看到有三个阶段：Stage-0、Stage-1、Stage-2如果是分组求和操作呢？ 可以看到有两个阶段：Stage-0、Stage-1 去重操作？ 可以看到有两个阶段：Stage-0、Stage-1这里可以看出来，其实Spark中Stage的划分，好像和一些join、group by、distinct等这些有关系，那么Spark在划分Stage的时候是以什么为区分呢？其实Spark的底层是根据RDD的血缘依赖
Spark Stage的划分
精益求精
09-14 2万+
RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。 窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。父RDD的一个分区去到子RDD的...
Spark：Stage介绍
简单随风的博客
09-03 3272
spark job是根据action算子触发的,遇到action算子就会起一个job stage的划分依据就是看是否产生了shuflle(即宽依赖),遇到一个shuffle操作就划分为前后两 个stage stage是由一组并行的task组成，stage会将一批task用TaskSet来封装，提交给TaskScheduler进行分配，最后发送到Executor执行 下面来看一张图来具体分析一下 为什么是从后往前呢? 因为RDD之间是有血缘关系的，后面的RDD依赖前面的RDD，也就是说后面的RDD要等前
SparkUI超详细解释（2）——Stages
2301_77818583的博客
04-26 2538
推测的原因是这个stage对应的是以下面的代码，上下两个shuffle的key相同又有一次union all，所以可以放在一个stage中，虽然task数量是4000，但是上面的shuffle数据是分在2000个task中，下面的是另一个2000task中，并不会两者合在一起hash到4000个task中。”下的一些指标上，也可以看到相关信息，或更具体的说明。task的时间线，以条形图+不同颜色的方式描述了各个task的不同动作下的耗时，鼠标浮动到某个条形图上，可以看到该task具体的各项时间。
spark入门之四 任务的调度stages划分
追赶者的博客
01-28 2655
spark的任务调度      在上次我们讲了 Spark Job的提交，我们提到，当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分，再生成TaskSet，由TaskScheduler向集群申
Spark调度系统——Stage详解
LINBE_blazers的博客
05-29 1800
DAGScheduler会将Job的RDD划分到不同的Stage，并构建这些Stage的依赖关系。这样可以使得没有依赖关系的Stage并行执行，并保证有依赖关系的Stage顺序执行。并行执行能够有效利用集群资源，提升运行效率，而串行执行则适用于那些在时间和数据资源上存在强制依赖的场景。Stage分为需要处理Shuffle的ShuffleMapStage和最下游的ResultStage。上游Stag...
Spark stage切分和提交
海盗的小菜园
11-10 1865
      客户端构建好RDD的DAG以后，会提交至DAGScheduler来处理，这是一个Stage级别的调度器，他首先会把作业切分为一个个Stage，每个Stage由一组相同运算的tasks组成，然后会以taskset的形式提交给TaskScheduler。DS还会跟踪stage的输出与物化情况、检测task运行时的最优位置，重新提交失败的stage。     DAGSheduler接收到J...
Spark Stage划分依据：Spark中的Stage调度算法
shuimuzh123的博客
04-30 1556
在Spark框架当中，基于有向无环图（DAG），实现了计算性能上的进一步提升，而DAG流程的调度，相对于Hadoop的MapReduce来说，要复杂得多，需要根据RDD之间的依赖关系来划分Stage。今天，我们就来聊聊Spark Stage划分依据，Spark中的Stage调度算法。 首先，需要明确的关键点是Spark Stage划分依据主要是基于Shuffle。 Shuffle是产生宽依赖RDD的算子，例如reduceByKey、reparttition、sortByKey等算子。同一个Sta.
Spark Stage的划分原理
04-04
在划分Stages时，Spark使用shuffle依赖作为划分的依据。一个Stage中的任务可以在同一个节点上执行，而不需要跨节点执行，这提高了任务的执行效率。 Spark Stage的划分原理可以帮助Spark进行任务的并行执行和优化，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值