Spark为什么要设计宽窄依赖？

最新推荐文章于 2023-07-25 11:48:12 发布
最新推荐文章于 2023-07-25 11:48:12 发布
阅读量812 收藏 4
点赞数
如有不足，欢迎纠正
本文链接：https://blog.csdn.net/longyanchen/article/details/100184380
版权

  其实在回答这个问题的时候，首先要明白什么是窄依赖和宽依赖。

窄依赖:

父RDD的一个分区只会被子RDD的一个分区依赖

对于窄依赖
       #1：Spark可以并行计算
       #2：如果有一个分区数据丢失，只需要从父RDD的对应1个分区重新计算即可，不需要重新计算整个任务，提高容错。


宽依赖:

父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle)

对于宽依赖
      是划分Stage的依据

 

chenyanlong_v
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【Spark基础】-- 宽窄依赖
欢迎来到我的博客，一起探索代码里的世界！
11-30 297
要理解宽窄依赖，首先我们需要了解 Transformations，什么是 Transformations？在 Spark 中，核心的数据结构是不可变的，这意味着它们一旦创建就不能更改。这看起来可能是个比较奇怪的概念，如果不能更改，那要怎么使用它呢？要 "change"一个 DataFrame，我们必须提示 Spark 如何将我们拥有的 DataFrame 修改成我们想要的样子。这些操作称为 Transformations。Transformations 是使用 Spark 表达业务逻辑的核心。
Spark的宽依赖和窄依赖
科学的N次方
09-07 732
spark的宽依赖和窄依赖
宽依赖和窄依赖_spark的宽依赖窄依赖
weixin_36145673的博客
12-23 1921
1RDD的依赖关系及容错1.1RDD的依赖关系RDD的依赖关系分为两种：窄依赖(Narrow Dependencies)与宽依赖(Wide Dependencies，源码中称为ShuffleDependencies)依赖有2个作用，其一用来解决数据容错的高效性；其二用来划分stage。窄依赖：每个父RDD的一个Partition最多被子RDD的一个Partition所使用(1:1或n:1)。例如...
Spark RDD 宽窄依赖——顿悟篇
weixin_44519468的博客
05-16 584
1.宽窄依赖 ●两种依赖关系类型 RDD和它依赖的父RDD的关系有两种不同的类型，即 ·宽依赖(wide dependency/shuffle dependency) ·窄依赖(narrow dependency) ●图解 ●如何区分宽窄依赖 窄依赖:父RDD的一个分区只会被子RDD的一个分区依赖 宽依赖:父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle) 2.为什么要设计宽窄依赖 2.1对于窄依赖 Spark可以并行计算 如果有一个分区数据丢失，只需要从父RDD的对应1个分区重新计
Spark精华问答 | 谈谈spark中的宽窄依赖
CSDN云计算
07-25 983
总的来说，Spark采用更先进的架构，使得灵活性、易用性、性能等方面都比Hadoop更有优势，有取代Hadoop的趋势，但其稳定性有待进一步提高。我总结，具体表现在如下几...
Spark的宽窄依赖
卡卡的博客
12-21 975
Spark的宽窄依赖介绍以及了解为什么要设计宽窄依赖
Spark中为什么要区分宽窄依赖？
最新发布
zy1992As的博客
07-25 437
这意味着每个父RDD的分区只需传输给一个子RDD的分区即可，不存在数据混洗(shuffle)的过程，因为数据的分区关系被保留了下来。请注意，为了在实际生产环境中优化Spark作业的性能，我们应尽量避免宽依赖的产生，可以通过使用一些性能优化的操作(如reduceByKey、combineByKey等)来替代一些导致宽依赖的操作(如groupByKey)。而rdd3的依赖类型是ShuffledRDD，这是一个宽依赖，因为数据混洗的操作(groupByKey)导致了父RDD的分区被重新组织传输给子RDD。
Spark RDD基本概念、宽窄依赖、转换行为操作
upupfeng的博客
02-22 571
本文介绍一下rdd的基本属性概念、rdd的转换/行动操作、rdd的宽/窄依赖。 文章目录RDD概述RDD的内部代码先看看基本概念的代码：常用的函数/算子案例小总结转换、行动算子一些常见的行动操作宽、窄依赖一些常见的宽窄依赖Reference RDD：Resilient Distributed Dataset 弹性分布式数据集，是Spark中的基本抽象。 RDD表示可以并行操作的元素的不变分区集...
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄...ps:Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前
spark宽依赖与窄依赖的理解
东城庞太师
05-30 376
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用 相应的，宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用 窄依赖对优化的优势： 宽依赖往往对应着shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内完成转换。 当RDD分区丢失时（某个节点故障），spark会对数据进行重算。 对于窄依赖，由于父RDD的一个分区只对应一个
Spark Streaming之容错性
wql_zero的博客
01-08 600
为了保证系统的高容错性，Spark Streaming期初考虑到如下情况： 1：利用spark本身的容错设计，存储级别（MEMORY_AND_DISK_2）和RDD抽象设计能够处理集群中任何Worker节点的故障； 2：由于spark运行多种运行模式，器Driver端可能运行在Master节点或者在集群中的任意节点上，这样让Driver端具备容错能力是一个很大的挑战，但是由于SparkStre...
spark中为什么要设置宽窄依赖
qq_45450889的博客
07-05 402
宽依赖通常会导致任务串行执行，因为一个任务的开始必须等到其它任务的结束。例如，如果任务A依赖于任务B、C和D，那么任务A只能在任务B、C和D全部完成后才能开始执行。例如，如果任务A只依赖于任务B，那么任务A可以在任务B完成后立即开始执行，而无需考虑其它任务。如果一个任务失败了，并且其他任务依赖于它的结果，那么它可以触发相应的错误处理机制以恢复失败的任务或引导后续任务执行备选方案。如果任务A依赖于任务B的结果，那么只有当任务B完成后才会开始执行任务A，避免了潜在的数据冲突或不一致。
宽依赖和窄依赖_Spark --【宽依赖和窄依赖】
weixin_34304211的博客
02-12 2828
1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...
spark-宽窄依赖
DCHAO的博客
10-20 2649
这是rdd论文中的图，可见，宽窄依赖划分的依据并不是是否产生了网络io，而是一个分区的数据是否发生了拆分，注意，是拆分，合并不算
详解 Spark RDD 的宽窄依赖关系
weixin_43958974的博客
01-04 3516
前言 上期讲解了 Spark RDD 核心结构及其概念，本期详细讲一讲 Spark RDD 依赖关系的内容。 学习目标 RDD 的依赖关系 如何区分宽窄依赖 为何设计要宽窄依赖 RDD的依赖关系 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数据，那么只能对原有 RDD 进行转化操作，也就是在原来 RDD 基础上创建一个新的RDD。 那么，在整个任务的运算过程中，RDD 的每次转换都会生成一个新的 RDD，因此 RDD 们之间会产生前后依赖的关系.
spark中stage的划分与宽依赖/窄依赖(转载+自己理解/整理)
微电子学与固体电子学-俞驰
05-05 1855
[1]宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet： 上图：一张网上的图： 基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖： 我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。 同样，UNION算子也是...
Spark宽窄依赖详解
热门推荐
modefrog的博客
03-16 2万+
1.宽窄依赖 图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。例如GroupByKey，reduceByKey，join，sortByKey等操作。图右边是窄依赖，父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号...
宽依赖和窄依赖_对spark rdd 宽窄依赖的理解
weixin_42364609的博客
01-07 364
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wide dependency, 也称 shuffle dependency)。窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD...
spark中什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？
06-09
在Spark中，宽依赖和窄依赖是指RDD之间的依赖关系。宽依赖意味着一个父RDD分区的数据被多个子RDD的分区所使用，而窄依赖意味着每个父RDD分区的数据仅被一个子RDD的分区所使用。 窄依赖的算子有：map、filter、union、distinct、groupByKey、reduceByKey、combineByKey、flatMap、mapPartitions、mapPartitionsWithIndex等。 宽依赖的算子有：cogroup、groupWith、join、leftOuterJoin、rightOuterJoin、fullOuterJoin、sortByKey、partitionBy等。 在计算过程中，窄依赖的RDD可以通过并行计算来提高计算效率，而宽依赖的RDD需要进行数据的shuffle，因此计算效率较低。因此，为了提高Spark应用的性能，应该尽量使用窄依赖的算子。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值