我的面试－－spark中如何划分stage

最新推荐文章于 2022-07-10 23:15:00 发布
最新推荐文章于 2022-07-10 23:15:00 发布
阅读量6.8k 收藏 25
点赞数 7
分类专栏： 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40271036/article/details/79996516
版权
Spark作业的Stage划分主要基于shuffle和result任务，窄依赖确保父RDD分区对应子RDD分区，允许同一Stage内处理。宽依赖如groupbyKey会导致Stage断开。DAG中，最后的ResultTask数量由最后一个RDD分区数决定，其余为ShuffleMapTask，负责shuffle数据给下一阶段。
摘要由CSDN通过智能技术生成

2.spark中如何划分stage

窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，表现为

  • 一个父RDD的分区对应于一个子RDD的分区
  • 两个父RDD的分区对应于一个子RDD 的分区。
宽依赖指子RDD的每个分区都要依赖于父RDD的所有分区，这是shuffle类操作
Stage:

一个Job会被拆分为多组Task，每组任务被称为一个Stage就像Map Stage， Reduce Stage。Stage的划分，简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。

比如 rdd.parallize(

最低0.47元/天 解锁文章
忍哥
关注
专栏目录
Spark Stage原理与代码实例讲解
AI架构设计之禅
07-07 850
Spark Stage原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 随着大数据技术的快速发展，数据处理的需求日益增加。Apache Spark作为一种高性能的分布式计算框架，为大规模数据处理提供了有效的解决方案。Spark的核
[大数据面试]-- 3.Spark 题目
欢迎来到我的博客，一起探索代码里的世界！
08-05 580
========= 基础 ========= 1、RDD 的基础 https://www.jianshu.com/p/fca10efd2315 https://www.jianshu.com/p/6319d6239f03 https://www.jianshu.com/p/64ade88f0e19 https://blog.csdn.net/weixin_38750084/articl...
spark中如何划分stage
weixin_42226057的博客
05-22 771
1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致...
Spark Stage 的划分
雪泪寒的博客
02-26 374
Spark Stage 的划分   Spark作业调度 对RDD的操作分为transformation和action两类，真正的作业提交运行发生在action之后，调用action之后会将对原始输入数据的所有transformation操作封装成作业并向集群提交运行。这个过程大致可以如下描述： 由DAGScheduler对RDD之...
spark 中如何划分stage？
Shadow
07-04 1万+
1.从hdfs中读取文件后，创建 RDD 对象 2.DAGScheduler模块介入运算，计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG 3.每一个JOB被分为多个Stage，划分Stage的一个主要依据是当前计算因子的输入是否是确定的，如果是则将其分在同一个Stage，避免多个Stage之间的消息传递开销。以下面一个按 A-Z 首字母分类，查找相同首字母下不同姓名总个数的例子来看
Spark stage如何划分
jast
07-10 1960
指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区，和两个父RDD的分区对应于一个子RDD 的分区。图中，map/filter和union属于第一类，对输入进行协同划分（co-partitioned）的join属于第二类。指子RDD的分区依赖于父RDD的所有分区，这是因为shuffle类操作，如图中的groupByKey和未经协同划分的join。一个Job会被拆分为多组Task，每组任务被称为一个Stage就像Map Stage， Reduce Stage。
Spark 划分 Stage
Small_Ran的博客
07-02 1636
本篇主要阐述 DAGSchedule 划分 Stage 的过程，其主要目的是为了了解 Stage 划分的原理；同时对源码分析更能清楚过程，当某个任务出现运行时间较长时；如果可以清楚其 Stage 划分的过程，就可以大概清楚是什么算子导致运行时间较长，从而可以进行优化提高 Spark 任务运行的效率。...
五分钟学大数据-Spark 面试八股文1
08-03
Stage 是 Spark 任务的物理执行单位，划分的依据是宽依赖和窄依赖。宽依赖涉及到数据的 shuffle，导致跨节点的数据传输；窄依赖仅依赖前一阶段的分区，可以在同一 Executor 内并行执行。 数据倾斜与解决方案： 数据...
大数据组件 Spark 面试题 + Spark 高频面试题
02-10
在面试中，关于Spark的常见问题可能涉及以下几个方面： 1. **Spark部署方式**： - Local：适用于单机开发和测试。 - Standalone：Spark自身提供的集群管理模式，基于Master-Slave架构。 - YARN：Spark任务与...
[源码] Spark如何划分Stage
Alian_W的博客
11-14 2451
[源码] Spark如何划分Stage 文章目录[源码] Spark如何划分Stage大家好，我是一拳就能打爆你A柱的猛男1、Stage的介绍1.1 Stage是什么概念以及Stage的划分1.3 Stage的意义2、从SparkPi定位Stage划分代码3、Spark划分Stage代码解读4、总结 大家好，我是一拳就能打爆你A柱的猛男 太久不写博客了，今天写的博客可能有点生疏，各位将就看一下。不知道有没有人跟我一样好奇Spark如何划分Stage的，今天翻一下源码给大家看看。 1、Stage的介绍 这部分
Spark Stage的划分
热门推荐
精益求精
09-14 2万+
RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。 窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。父RDD的一个分区去到子RDD的...
spark学习-50-Spark的stage的划分
九师兄
12-03 1460
1。stage的划分主要依据窄依赖和宽依赖窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区，和两个父RDD的分区对应于一个子RDD 的分区。图中，map/filter和union属于第一类，对输入进行协同划分（co-partitioned）的join属于第二类。宽依赖：指子RDD的分区依赖于父RDD的所有分区，这是因为shuffle类操作，
spark中stage的划分与宽依赖/窄依赖(转载+自己理解/整理)
微电子学与固体电子学-俞驰
05-05 1871
[1]宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet： 上图：一张网上的图： 基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖： 我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。 同样，UNION算子也是...
spark 2版本 中stage划分和stage作业提交详解
u013716507的博客
04-12 3813
spark、stage、submit
spark中stage划分简单总结
akr84865的博客
12-09 456
父RDD的每一个分区最多被一个子RDD的分区所用，即同分区的所有key可以被映射到同一分区，这就是窄依赖，没必要进行shuffle。 宽依赖，key被映射到不同分区，需要shuffle。 spark中有两类stage，也称为task，一类是shuffleMapTask（用于shuffle），另一类是resultTask（用于产生结果）。 转载于:https://www.cnblog...
如何在Spark中划分Stage
最新发布
05-26
以下是在Spark中划分Stage的步骤： 1. 执行RDD转换操作时，Spark会创建一组新的RDD，并将它们添加到DAG（有向无环图）中。DAG表示Spark计算任务之间的依赖关系。 2. Spark会根据RDD之间的依赖关系划分Stage。每个...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值