Spark中stage的划分

最新推荐文章于 2024-06-24 14:35:46 发布
最新推荐文章于 2024-06-24 14:35:46 发布
阅读量941 收藏
点赞数
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dpengwang/article/details/79314125
版权

如下为Spark中划分stage的源码：
这里写图片描述

  1. DAGScheduler将Job分解成具有前后依赖关系的多个stage
  2. DAGScheduler是根据ShuffleDependency划分stage的
  3. stage分为ShuffleMapStage和ResultStage；一个Job中包含一个ResultStage及多个ShuffleMapStage
  4. 一个stage包含多个tasks，task的个数即该stage的finalRDD的partition数
  5. 一个stage中的task完全相同，ShuffleMapStage包含的都是ShuffleMapTask；ResultStage包含的都是ResultTask
肯德基套餐
关注
专栏目录
spark学习-50-Spark的stage的划分
九师兄
12-03 1459
1。stage的划分主要依据窄依赖和宽依赖窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区，和两个父RDD的分区对应于一个子RDD 的分区。图中，map/filter和union属于第一类，对输入进行协同划分（co-partitioned）的join属于第二类。宽依赖：指子RDD的分区依赖于父RDD的所有分区，这是因为shuffle类操作，
【Spark实战系列】spark 的 stage 是如何划分的 看这一篇文章就够了
JasonLee实时计算
12-01 6899
最近有很多人问我,spark中的stage是怎么划分的?到底是根据什么把一个job分为多个stage的,那我们今天就用最通俗易懂的语言给大家分析一下,帮助大家的理解. 我们都知道spark的job是根据action算子触发的,遇到action算子就会起一个job,job里面又划分了很多个stage,然后每一个stage里面运行了很多个task.请大家先记住一句话,stage的划分依据就是看是否产...
spark中如何划分stage
weixin_42226057的博客
05-22 771
1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致...
spark中Stage的划分
spark的自由牧场的博客
02-06 1万+
窄依赖和宽依赖窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区，和两个父RDD的分区对应于一个子RDD 的分区。图中，map/filter和union属于第一类，对输入进行协同划分（co-partitioned）的join属于第二类。宽依赖：指子RDD的分区依赖于父RDD的所有分区，这是因为shuffle类操作，如图中的groupByKey
spark调度体系——stage/task提交
最新发布
weixin_43839095的博客
06-24 427
stage提交入口是在DAGScheduler类的handleJobSubmitted方法最后，调用submitStage提交最后一个stage。遍历stage，根据isAvailable判断stage是否完成。这里只会向上找一层的shuffleMapStage。如果shuffle输出结果数量达到对应numPartitions，则表示shuffle完成，即shuffleMapStage完成。
Spark源码分析之三：Stage划分
weixin_34367257的博客
02-16 231
继上篇《Spark源码分析之Job的调度模型与运行反馈》之后，我们继续来看第二阶段--Stage划分。 Stage划分的大体流程如下图所示： 前面提到，对于JobSubmitted事件，我们通过调用DAGScheduler的handleJobSubmitted()方法来处理。那么我们先来看下代码： /...
Spark 划分 Stage
Small_Ran的博客
07-02 1633
本篇主要阐述 DAGSchedule 划分 Stage 的过程，其主要目的是为了了解 Stage 划分的原理；同时对源码分析更能清楚过程，当某个任务出现运行时间较长时；如果可以清楚其 Stage 划分的过程，就可以大概清楚是什么算子导致运行时间较长，从而可以进行优化提高 Spark 任务运行的效率。...
Stage的划分
LuRenJiang的博客
04-17 2723
介绍 Stage是Spark独有的概念，是对RDD进行范围描述的东西。 原理 Stage划分是从最终结果RDD从后往前，通过递归来划分stage，循环到最后会把所有rdd划分为一个Stage（可以结合Stage的源码来理解这句话） 为什么要根据宽窄依赖划分Stage？ 在此之前一定要先理解宽依赖和窄依赖的概念：宽依赖和窄依赖 每个宽依赖的处理均会是一个stage的划分点。可以这么简单的理解： 宽...
Spark Stage 的划分
mahuacai的专栏
07-15 6281
想了解Shuffle 的处理流程，首先要了解Spark是如何划分Stage的。下面，让我们看看 Spark 是如何根据RDD 的依赖关系来划分Stage。      首先 我们必须要理解 Spark 中RDD的依赖关系.            1.Rdd的依赖关系:           Rdd的依赖有两种:                1.宽依赖(Wide Dependency)
Spark基础学习笔记19：RDD的依赖与Stage划分
howard2005的专栏
04-02 2627
宽依赖和窄依赖、Stage划分
Spark Stage的划分
热门推荐
精益求精
09-14 2万+
RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。 窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。父RDD的一个分区去到子RDD的...
Spark源码解析之Stage划分
dmy1115143060的博客
08-31 752
        这里以count操作为例，一步步解析Spark在执行一个Job时如何进行DAG图的解析。Spark在遇到Action类型算子时，会使用SparkContext进行一系列的runJob方法调用，最终会调用DAGScheduler的runJob方法来划分DAG图。 一、runJob方法调用 // 计算RDD中包含的键值对个数，此时会触发一个SparkContext来提交执行Job...
Spark Stage划分依据：Spark中的Stage调度算法
shuimuzh123的博客
04-30 1539
在Spark框架当中，基于有向无环图（DAG），实现了计算性能上的进一步提升，而DAG流程的调度，相对于Hadoop的MapReduce来说，要复杂得多，需要根据RDD之间的依赖关系来划分Stage。今天，我们就来聊聊Spark Stage划分依据，Spark中的Stage调度算法。 首先，需要明确的关键点是Spark Stage划分依据主要是基于Shuffle。 Shuffle是产生宽依赖RDD的算子，例如reduceByKey、reparttition、sortByKey等算子。同一个Sta.
Spark stage如何划分
jast
07-10 1959
指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区，和两个父RDD的分区对应于一个子RDD 的分区。图中，map/filter和union属于第一类，对输入进行协同划分（co-partitioned）的join属于第二类。指子RDD的分区依赖于父RDD的所有分区，这是因为shuffle类操作，如图中的groupByKey和未经协同划分的join。一个Job会被拆分为多组Task，每组任务被称为一个Stage就像Map Stage， Reduce Stage。
spark 中如何划分stage？
Shadow
07-04 1万+
1.从hdfs中读取文件后，创建 RDD 对象 2.DAGScheduler模块介入运算，计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG 3.每一个JOB被分为多个Stage，划分Stage的一个主要依据是当前计算因子的输入是否是确定的，如果是则将其分在同一个Stage，避免多个Stage之间的消息传递开销。以下面一个按 A-Z 首字母分类，查找相同首字母下不同姓名总个数的例子来看
Spark进阶学习——Stage划分
Miracle_shen的博客
06-22 948
本文要解决的问题：由于近期重点需要研究Spark的调度优化问题，所以对这一块进行重点分析。 本文主要讨论Spark中Stage的划分。当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分，再生成Ta
Spark源码分析之四：Stage提交
weixin_34234823的博客
02-17 271
各位看官，上一篇《Spark源码分析之Stage划分》详细讲述了Spark中Stage的划分，下面，我们进入第三个阶段--Stage提交。 Stage提交阶段的主要目的就一个，就是将每个Stage生成一组Task，即TaskSet，其处理流程如下图所示： 与Stage划分阶段一样，我们还是从handle...
如何在Spark中划分Stage
05-26
3. Spark会将Stage划分为两种类型：Shuffle Stage和Non-Shuffle Stage。Shuffle Stage是指需要进行数据洗牌操作的Stage，而Non-Shuffle Stage是指不需要进行数据洗牌操作的Stage。 4. 在Shuffle Stage中，Spark会将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值