spark的宽依赖和窄依赖

最新推荐文章于 2023-12-13 07:15:00 发布

chuya1943

最新推荐文章于 2023-12-13 07:15:00 发布

阅读量96

点赞数

文章标签：大数据

原文链接：https://my.oschina.net/u/2969788/blog/2870446

版权

spark的宽依赖和窄依赖

spark 划分stage取决于rdd之间的依赖,rdd之间的依赖分为宽依赖和窄依赖

窄依赖是指父rdd的一个分区指被子rdd的一个分区使用,参考下图,父rdd只会被一个子rdd使用

宽依赖父rdd的每一个分区都有可能被子rdd的分区使用,子rdd的分区通常对应父rdd的所有分区(partition),如下图 父rdd会被多个子rdd使用

总结

宽依赖一般是涉及到shuffle操作,窄依赖一般是map 这种操作, 宽依赖在丢失分区时可能会涉及到所有计算都要重新进行

常见窄依赖算子:map, filter, union, join(父RDD是hash-partitioned ), mapPartitions, mapValues

常见宽依赖算子:groupByKey, join(父RDD不是hash-partitioned ), partitionBy

转载于:https://my.oschina.net/u/2969788/blog/2870446

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chuya1943

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Spark10：宽依赖和窄依赖以及Spark任务三种提交模式

weixin_40612128的博客

03-09

2268

一、宽依赖和窄依赖 1、窄依赖窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB

Spark的宽依赖和窄依赖

科学的N次方

09-07

767

spark的宽依赖和窄依赖

参与评论您还未登录，请先登录后发表或查看评论

Spark的宽窄依赖

Buutoorr的博客

09-20

2898

浅谈宽窄依赖及流水线优化

Spark宽窄依赖详解

热门推荐

modefrog的博客

03-16

2万+

1.宽窄依赖图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。例如GroupByKey，reduceByKey，join，sortByKey等操作。图右边是窄依赖，父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号...

窄依赖和宽依赖

qq_20174285的博客

01-08

189

RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。窄依赖父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。宽依赖父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生。宽窄依赖图理...

spark 宽窄依赖

leofionn的博客

03-22

390

宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区(O(1)，与数据规模无关)ShuffleDependency和Hadoop MapReduce中Shuffle的数据依赖相同相应的，宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区(O(n)，与数据规模有关)NarrowDependenc...

Spark宽依赖窄依赖的区别

话数Science

10-03

1885

子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。

宽依赖和窄依赖_spark的宽依赖窄依赖

weixin_36145673的博客

12-23

1945

1RDD的依赖关系及容错1.1RDD的依赖关系RDD的依赖关系分为两种：窄依赖(Narrow Dependencies)与宽依赖(Wide Dependencies，源码中称为ShuffleDependencies)依赖有2个作用，其一用来解决数据容错的高效性；其二用来划分stage。窄依赖：每个父RDD的一个Partition最多被子RDD的一个Partition所使用(1:1或n:1)。例如...

宽依赖和窄依赖_Spark --【宽依赖和窄依赖】

weixin_34304211的博客

02-12

2852

1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...

spark中的宽窄依赖

qq_41634872的博客

04-27

276

NarrowDependency： Base class for dependencies where each partition of the child RDD depends on a small number of partitions of the parent RDD. Narrow dependencies allow for pipelined execution. ...

Spark宽窄依赖

精益求精

09-13

478

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，...

spark-宽窄依赖

DCHAO的博客

10-20

2790

这是rdd论文中的图，可见，宽窄依赖划分的依据并不是是否产生了网络io，而是一个分区的数据是否发生了拆分，注意，是拆分，合并不算

spark的宽依赖，窄依赖

最新发布

山水青一人尤

12-13

699

在 Apache Spark 中，依赖关系是指 RDD（弹性分布式数据集）之间的关系。依赖关系的类型对于理解 Spark 的任务调度、分区和故障恢复等方面至关重要。Spark 中主要有两种类型的依赖关系：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。

Spark中的宽窄依赖细述

newchitu的博客

06-14

894

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）。宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用...

spark基于standalone模式提交任务和基于yarn模式提交任务的比较，spark的宽窄依赖，spark的计算模式等（图解+文字说明）

wyqwilliam的博客

07-19

2224

1.Spark基于Standalone提交任务 1).client 命令： ./spark-submit --master spark://node1:7077 --class ... jar ... 参数 ./spark-submit --master spark://node1...

Spark 宽窄依赖

weixin_30955341的博客

04-17

374

面试时被问到spark RDD的宽窄依赖，虽然问题很简单，但是答得很不好。还是应该整理一下描述，这样面试才能答得更好。看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。原文链接：https://www.jianshu.com/p/5c2301dfa360 1.窄依赖窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD...

spark血统--宽窄依赖（史上最简单的解释）

weixin_38629422的博客

01-20

539

Wide Dependencies （宽依赖）：是指子RDD的分区依赖于父RDD的多个分区或所有分区（子rdd和父rdd的关系是一对多的关系） Narrow Dependencies（窄依赖）：是指父RDD的每一个分区最多被一个子RDD的分区所用（一个子rdd和父rdd的关系理想情况下是一对一） ...