Spark 的宽依赖和窄依赖

最新推荐文章于 2023-12-13 07:15:00 发布
最新推荐文章于 2023-12-13 07:15:00 发布
阅读量1.2k 收藏 2
点赞数 2
分类专栏： 面试相关 文章标签： spark scala java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45417821/article/details/120481873
版权

针对不同函数，Spark 分为宽依赖和窄依赖，

窄依赖是一个父RDD 分区对应一个子RDD 分区，或者说是多个父RDD分区对应一个子RDD分区，比如map，flapmap，filter

宽依赖是一个父RDD分区对应多个子RDD分区，groupByKey，reduceByKey，sortByKey。

总体来说，如果父RDD 对应一个 子RDD ，那么它就是窄依赖，否则就是宽依赖。

Alienware^
关注
专栏目录
Spark的宽依赖和窄依赖
科学的N次方
09-07 776
spark的宽依赖和窄依赖
Spark宽依赖窄依赖的区别
话数Science
10-03 1909
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
Spark的宽窄依赖
Buutoorr的博客
09-20 2907
浅谈宽窄依赖及流水线优化
Spark 宽窄依赖
weixin_30955341的博客
04-17 377
面试时被问到spark RDD的宽窄依赖，虽然问题很简单，但是答得很不好。还是应该整理一下描述，这样面试才能答得更好。 看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。 原文链接：https://www.jianshu.com/p/5c2301dfa360 1.窄依赖 窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD...
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 662
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
spark的宽依赖，窄依赖
最新发布
山水青一人尤
12-13 728
在 Apache Spark 中，依赖关系是指 RDD（弹性分布式数据集）之间的关系。依赖关系的类型对于理解 Spark 的任务调度、分区和故障恢复等方面至关重要。Spark 中主要有两种类型的依赖关系：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。
Spark中的宽依赖和窄依赖
微信公众号：一颗向上的草莓
05-04 610
Spark中RDD的高效与DAG（有向无环图）图有着莫大的关系， 在DAG调度中需要对计算过程划分Stage， 而划分的依据就是就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency） 和宽依赖（Wide Depencency，也称为Shuffle Depencency）。 窄依赖： 指父RDD的每个分区只被子RDD的一个分区...
宽依赖和窄依赖_spark的宽依赖窄依赖
weixin_36145673的博客
12-23 1948
1RDD的依赖关系及容错1.1RDD的依赖关系RDD的依赖关系分为两种：窄依赖(Narrow Dependencies)与宽依赖(Wide Dependencies，源码中称为ShuffleDependencies)依赖有2个作用，其一用来解决数据容错的高效性；其二用来划分stage。窄依赖：每个父RDD的一个Partition最多被子RDD的一个Partition所使用(1:1或n:1)。例如...
宽依赖和窄依赖_Spark --【宽依赖和窄依赖】
weixin_34304211的博客
02-12 2862
1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...
浅谈Spark中的宽依赖和窄依赖
一个数据小开发的博客
04-28 2252
1、何为Spark中的宽依赖和窄依赖 1.1、官方源码解释 1.1.1、NarrowDependency（窄依赖） /** * :: DeveloperApi :: * Base class for dependencies where each partition of the child RDD depends on a small number * of partitions of the parent RDD. Narrow dependencies allow for pipelin
Spark --【宽依赖和窄依赖】
weixin_33717117的博客
05-05 155
前言 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, ...
spark宽依赖与窄依赖
汴水流的博客
04-05 963
窄依赖：Narrow Dependency 父RDD和子RDD是一对一的依赖关系，如map，filter 宽依赖：Shuffle Dependency 本质如其名，本质就是shuffle。如reduceByKey，groupyByKey 以wordcount为例，剖析图如下：
聊聊Spark中的宽依赖和窄依赖
热门推荐
夜阑听风
07-08 1万+
开门见山，本文就针对一个点，谈谈Spark中的宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet：上图：一张网上的图：基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖：我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。同样...
Spark：宽依赖与窄依赖
简单随风的博客
09-02 5639
窄依赖(Narrow Dependency):指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，RDD的每个partition仅仅依赖于父RDD 中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 宽依赖(Shuffle Dependency):父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、 reduceByKey，sortBykey等算子，这些算.
Spark RDD的依赖于DAG的工作原理
qq_43012693的博客
11-10 824
目录RDD的依赖RDD的宽窄依赖DAG工作原理划分Stage的原因Spark Shuffler过程 在进行本篇之前，如果还有对Spark的一些基础概念不太明白的可以参考一下这篇博文： Spark核心组件、运行架构 RDD的依赖 RDD是一种弹性分布式数据集，我们以图示的形式来展示一下它的原理： RDD的宽窄依赖 Lineage:血统、遗传 RDD最重要的特性之一，保存了RDD的依赖关系； RDD实现了基于Lineage的容错机制； 依赖关系 宽依赖：一个父RDD的分区被子RDD的多个分区使用； 窄依
Spark 中的宽依赖和窄依赖
shangpengyu
10-28 1186
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 宽依赖与窄依赖     窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RD...
【Spark】窄依赖和宽依赖区别
zkq_1986的博客
12-07 652
窄依赖：     一个父分区只能发往一个子分区，虽然一个子分区可以来自多个父分区； 宽依赖（其过程称为shuffle）：     一个父分区需要发往多个子分区。 窄依赖和宽依赖的作用：一是容错，二是宽依赖作为stage的划分点。 如果是窄依赖，子分区若是出错，其父rdd数据已丢失，那么只需重新计算子分区依赖的若干个父分区就行。 如果是宽依赖，子分区若是出错，其父rdd数据已丢失
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值