spark学习之宽依赖，窄依赖

最新推荐文章于 2023-10-03 10:45:16 发布
最新推荐文章于 2023-10-03 10:45:16 发布
阅读量2.3k 收藏
点赞数
分类专栏： # spark基础 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39966065/article/details/89501130
版权

目录

 

一：何为宽，何为窄

二：宽窄之程序运行效率比较

三：具体比较如图（细化到 task，executor）

一：何为宽，何为窄

以子Rdd对父Rdd的依赖关系为纬度，1对1为窄，反之则宽！

 

二：宽窄之程序运行效率比较

例子1：
            窄依赖在自己的节点中，逐个元素地执行map、然后filter操作，父RDD节点的计算不用等待其它父节点的计算结果。
            而宽依赖则需要首先计算好所有父分区数据，然后在节点之间进行Shuffle，这与MapReduce类似。
             与窄依赖相比，多了节点间的数据传输
                                             多了等待所有父节点的数据计算

例子2：当子RDD 需要重算时，宽依赖 会重算所有父RDD分区的数据，这样会出现多余的重算，窄依赖只需计算对应的一个父RDD的数据即可
             
结论：窄依赖性能更高

 

三：具体比较如图（细化到 task，executor）

 

 

威少SOS
关注
专栏目录
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2224
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
宽依赖和窄依赖_Spark --【宽依赖和窄依赖】
weixin_34304211的博客
02-12 2832
1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...
窄依赖和宽依赖
qq_20174285的博客
01-08 176
RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。 窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。 宽依赖 父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生。 宽窄依赖图理...
Spark宽窄依赖详解
modefrog的博客
03-16 2万+
1.宽窄依赖 图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。例如GroupByKey，reduceByKey，join，sortByKey等操作。图右边是窄依赖，父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号...
spark宽依赖与窄依赖的理解
东城庞太师
05-30 381
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用 相应的，宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用 窄依赖对优化的优势： 宽依赖往往对应着shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内完成转换。 当RDD分区丢失时（某个节点故障），spark会对数据进行重算。 对于窄依赖，由于父RDD的一个分区只对应一个
Spark --【宽依赖和窄依赖】
weixin_33717117的博客
05-05 139
前言 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, ...
spark的宽窄依赖
weixin_41745141的博客
03-09 589
spark的宽窄依赖
宽依赖和窄依赖_spark的宽依赖窄依赖
weixin_36145673的博客
12-23 1930
1RDD的依赖关系及容错1.1RDD的依赖关系RDD的依赖关系分为两种：窄依赖(Narrow Dependencies)与宽依赖(Wide Dependencies，源码中称为ShuffleDependencies)依赖有2个作用，其一用来解决数据容错的高效性；其二用来划分stage。窄依赖：每个父RDD的一个Partition最多被子RDD的一个Partition所使用(1:1或n:1)。例如...
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄...ps:Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前
宽依赖和窄依赖_Spark宽依赖和窄依赖深度剖析
weixin_33514163的博客
12-31 611
宽依赖和窄依赖深度剖析.pngRDD依赖关系与stage划分Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。1. 窄依赖与宽依赖针对不同的转换函数，RDD之间的依赖关系分为窄依赖(narrow dependency)和宽依赖(wide dependency，也成shuffle dependency)。1.1 窄依赖...
详解 Spark RDD 的宽窄依赖关系
weixin_43958974的博客
01-04 3585
前言 上期讲解了 Spark RDD 核心结构及其概念，本期详细讲一讲 Spark RDD 依赖关系的内容。 学习目标 RDD 的依赖关系 如何区分宽窄依赖 为何设计要宽窄依赖 RDD的依赖关系 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数据，那么只能对原有 RDD 进行转化操作，也就是在原来 RDD 基础上创建一个新的RDD。 那么，在整个任务的运算过程中，RDD 的每次转换都会生成一个新的 RDD，因此 RDD 们之间会产生前后依赖的关系.
Spark宽窄依赖之间的案例
分享程序猿的内心世界
08-27 220
1 正常spark 算子之间的转换关系 def main(args: Array[String]):Unit = { val conf =new SparkConf() conf.setAppName("day03") conf.setMaster("local") val sc =new SparkContext(conf) sc.setLogLevel("error"); val rdd1 = sc.parallelize(List[Strin...
Spark系列——RDD的宽依赖和窄依赖，以及Spark的运行架构，运行流程，框架的特点
Cxf2018的博客
11-01 1255
一、窄依赖（narrow dependency） 窄依赖是指：每一个父RDD的一个partition最多被子RDD的一个partition所使用，例如：map,filter,union等操作会产生窄依赖，相当于父母和独生子女的关系 二、宽依赖(shuffle denpendency) 宽依赖是指：每一个父RDD的一个partition多个子RDD的一个partition所使用，每一个父RDD的一个partition有可能传输部份数据到子RDD的每一个partition中，子RDD的多个partition依赖
RDD理解及宽依赖和窄依赖
小白成小黑
08-03 1万+
1）RDD概念：Resilient Distributed Datasets  弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（transformation操作）而创建。RDD可看作一个spark的对象，它本身存在于内
spark 中 宽依赖 和 窄依赖的 区别及优缺点
liangsir
06-29 6975
窄依赖与宽依赖的概述： rdd 中的--宽依赖---父RDD每个分区的数据可能被多个子RDD分区使用 ，子RDD分区通常对应所有的父RDD分区，这其中分为两种情况：1，一个父RDD的分区对应所有的子RDD的分区（没有core-patitioned过的join）2,一个父RDD分区对应非全部的的多个RDD分区（groupByKey） rdd中的--窄依赖---父RDD每个分区的只被子RDD的一个...
每次进步一点点——Spark 中的宽依赖和窄依赖
热门推荐
housir的专栏
09-13 3万+
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应
Spark中RDD的宽依赖和窄依赖详解
SOARING
04-25 9121
宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。 下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。 宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分...
Spark宽依赖窄依赖的区别
话数Science
10-03 1809
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
spark 依赖关系宽依赖、窄依赖
最新发布
12-20
Spark依赖关系包括宽依赖和窄依赖。宽依赖是指一个父RDD的一个分区可能被多个子RDD的分区所依赖，而窄依赖则是指一个父RDD的一个分区只会被一个子RDD的分区所依赖。 对于宽依赖，父RDD的每个分区会被多个子RDD的分区所使用，这种依赖会导致数据的shuffle操作，需要将父RDD的分区数据重新分配到子RDD的分区上，这样的依赖关系容易导致性能问题，因为shuffle操作会导致数据的大量传输和重新分配。 而窄依赖则是父RDD的每个分区只会被一个子RDD的分区所使用，这种依赖不需要数据的shuffle操作，因此性能上会有一定的优势。在Spark中，通过对依赖关系进行优化，可以提高作业的性能和效率。 总的来说，对于Spark的依赖关系，窄依赖的性能优势要大于宽依赖，因此在实际的开发中，应该尽可能地避免宽依赖的出现，结合合适的数据分区策略和依赖关系设计，来提高作业的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值