Spark的宽窄依赖

已于 2023-02-03 11:01:55 修改
阅读量987 收藏 2
点赞数 3
分类专栏： Spark 文章标签： spark 大数据 分布式
于 2022-12-21 14:05:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42322454/article/details/128396161
版权

宽窄依赖

宽窄依赖描述的是父RDD和子RDD之间的对应关系


依赖关系

在这里插入图片描述
RDD会不断进行转换处理，得到新的RDD

每个RDD之间就产生了依赖关系


窄依赖

定义：父RDD的一个分区的数据给子RDD的一个分区(不需要调用Shuffle的分区器）

一个Stage内部的计算都是窄依赖的过程，全部在内存中完成

特点：

  • 一对一 或者 多对一
  • 不经过Shuffle，性能相对较快
  • 无法实现全局分区、排序和分组等

示例：

在这里插入图片描述


宽依赖

定义：父RDD的一个分区数据给子RDD的多个分区（需要调用Shuffle的分区器来实现）

Spark的job中按照宽依赖来划分Stage

特点：

  • 一对多
  • 必须经过Shuffle，性能相对较慢
  • 可以实现全局分区、排序和分组

示例：

在这里插入图片描述


【了解】为什么要设计宽窄依赖

提高数据容错的性能，避免分区数据丢失时，需要重新构建整个RDD

  • 场景：如果子RDD的某个分区的数据丢失
    • 无标记：不清楚父RDD与子RDD数据之间的关系，必须重新构建整个父RDD所有数据
    • 有标记：父RDD一个分区只对应子RDD的一个分区，按照对应关系恢复父RDD的对应分区即可

提高数据转换的性能，将连续窄依赖操作使用同一个Task都放在内存中直接转换

  • 场景：如果RDD需要多个map、flatMap、filter、reduceByKey、sortByKey等算子的转换操作
    • 无标记：每个转换不知道会不会经过Shuffle，都使用不同的Task来完成，每个Task的结果要保存到磁盘
    • 有标记：多个连续窄依赖算子放在一个Stage中，共用一套Task在内存中完成所有转换，性能更快
Kazi_1024
关注
专栏目录
Spark中窄依赖详细介绍
CSDN 精品推荐
08-18 296
在Spark中，依赖关系描述了不同RDD（Resilient Distributed Dataset）之间的关系，它们确定了RDD之间的计算逻辑和数据流动路径。依赖关系可以分为两种类型：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency，也称为Shuffle Dependency）。这里我们详细介绍窄依赖，并通过一个例子进行详细说明。
Spark的宽依赖和窄依赖
科学的N次方
09-07 744
spark的宽依赖和窄依赖
Spark 的宽依赖和窄依赖
最新发布
小湘西的博客
01-24 995
Apache Spark 中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。依赖关系分为两类：宽依赖（Wide Dependency）和窄依赖（Narrow Dependency）。窄依赖指的是每个父分区最多被一个子分区使用，这意味着子分区的计算只依赖于父RDD的一个分区。因此，在窄依赖中，每个父RDD的分区只需要发送到一个子RDD的分区。
Spark 窄依赖、款依赖
weixin_36058293的博客
06-04 242
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Suubyy/article/details/81190460 窄依赖 定义：窄依赖英文为Narrow Dependency。在Spark中，我们具体操作的是RDD数据，而RDD是由多个Partition组成的，所以实际上我们真正操作的是Partition上的数据。当我们操作Parti...
Spark：宽依赖与窄依赖
简单随风的博客
09-02 5614
窄依赖(Narrow Dependency):指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，RDD的每个partition仅仅依赖于父RDD 中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 宽依赖(Shuffle Dependency):父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、 reduceByKey，sortBykey等算子，这些算.
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2230
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
Spark—RDD依赖&血缘关系
weixin_42570840的博客
06-19 835
Spark-core中的RDD依赖和血缘关系
Spark RDD基本概念、宽窄依赖、转换行为操作
upupfeng的博客
02-22 580
本文介绍一下rdd的基本属性概念、rdd的转换/行动操作、rdd的宽/窄依赖。 文章目录RDD概述RDD的内部代码先看看基本概念的代码：常用的函数/算子案例小总结转换、行动算子一些常见的行动操作宽、窄依赖一些常见的宽窄依赖Reference RDD：Resilient Distributed Dataset 弹性分布式数据集，是Spark中的基本抽象。 RDD表示可以并行操作的元素的不变分区集...
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 620
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
spark依赖
01-07
– 4.0.0 com.bjsxt.spark MySpark 1.0-SNAPSHOT – UTF-8 1.8 1.8 – – org.apache.spark spark-core_2.11 2.3.1 – org.apache.spark spark-sql_2.11 2.3.1 – org.apache.spark spark-hive_2.11 2.3.1 – mysql mysql-connector-java 5.1.47 – org.apache.spark spark-streaming_2.11 2.3.1 – org.apache.spark spark-streamin
浅谈Spark中的宽依赖和窄依赖
一个数据小开发的博客
04-28 2194
1、何为Spark中的宽依赖和窄依赖 1.1、官方源码解释 1.1.1、NarrowDependency（窄依赖） /** * :: DeveloperApi :: * Base class for dependencies where each partition of the child RDD depends on a small number * of partitions of the parent RDD. Narrow dependencies allow for pipelin
Spark 依赖
weixin_42310289的博客
02-24 755
Spark依赖分为宽依赖和窄依赖： 窄依赖 子RDD的每个分区依赖于常数个（即与数据规模无关） 输入输出一对一的算子，且结果RDD的分区结构不变，主要是map、flatMap 输入输出一对一，但结果RDD的分区结构发生了变化，如 union、coalesce 从输入中选择部分元素的算子，如filter、distinct、subtract、sample 宽依赖 子RDD的每个分区依赖于所有父RDD分...
Spark中窄依赖和宽依赖
wk022的专栏
06-07 994
窄依赖：一个父RDD的分区对应一个子RDD的分区 宽依赖：一个父RDD的分区对应多个子RDD的分区
Spark宽依赖窄依赖的区别
话数Science
10-03 1817
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
Spark宽窄依赖
精益求精
09-13 468
      Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，...
Spark --【宽依赖和窄依赖】
weixin_33717117的博客
05-05 141
前言 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, ...
Spark中的宽窄依赖细述
newchitu的博客
06-14 880
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）。 宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用...
Spark RDD依赖机制
07-10
Spark RDD（弹性分布式数据集）的依赖机制是Spark实现容错性和高效计算的核心机制之一。 在Spark中，每个RDD都表示一个可分区、只读的数据集。RDD之间的依赖关系描述了RDD之间的转换操作，并指示了RDD如何通过转换操作从父RDD生成新的子RDD。 RDD的依赖关系可以分为两种类型：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。 1. 窄依赖：当一个父RDD的每个分区只被一个子RDD的一个分区所使用时，我们称之为窄依赖。在这种情况下，Spark可以高效地进行转换操作，而无需重新计算所有的数据。例如，map、filter等转换操作都属于窄依赖。窄依赖允许Spark在计算中进行更多的优化，如任务划分、数据本地性等。 2. 宽依赖：当一个父RDD的分区被多个子RDD的分区所使用时，我们称之为宽依赖。在这种情况下，Spark需要通过将数据进行洗牌（Shuffle）操作来重新组织数据，以满足子RDD的需求。例如，groupByKey、reduceByKey等转换操作都属于宽依赖。洗牌操作需要涉及数据的网络传输和排序，因此会引入额外的开销。 Spark使用DAG（有向无环图）来表示RDD之间的依赖关系。每个RDD都包含其对应的转换操作和所依赖的父RDD。当执行一个Action操作时，Spark会根据RDD之间的依赖关系动态构建执行计划，并将其转化为一系列的任务来执行。 通过依赖机制，Spark可以实现容错性，即当某个分区的数据丢失或计算失败时，可以通过依赖关系重新计算该分区的数据。同时，Spark还可以根据依赖关系进行任务划分和数据本地化等优化，以提高计算效率和性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值