Spark的宽窄依赖

已于 2023-02-03 11:01:55 修改
阅读量935 收藏 2
点赞数 3
分类专栏： Spark 文章标签： spark 大数据 分布式
于 2022-12-21 14:05:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42322454/article/details/128396161
版权

宽窄依赖

宽窄依赖描述的是父RDD和子RDD之间的对应关系


依赖关系

在这里插入图片描述
RDD会不断进行转换处理，得到新的RDD

每个RDD之间就产生了依赖关系


窄依赖

定义：父RDD的一个分区的数据给子RDD的一个分区(不需要调用Shuffle的分区器）

一个Stage内部的计算都是窄依赖的过程，全部在内存中完成

特点：

  • 一对一 或者 多对一
  • 不经过Shuffle，性能相对较快
  • 无法实现全局分区、排序和分组等

示例：

在这里插入图片描述


宽依赖

定义：父RDD的一个分区数据给子RDD的多个分区（需要调用Shuffle的分区器来实现）

Spark的job中按照宽依赖来划分Stage

特点：

  • 一对多
  • 必须经过Shuffle，性能相对较慢
  • 可以实现全局分区、排序和分组

示例：

在这里插入图片描述


【了解】为什么要设计宽窄依赖

提高数据容错的性能，避免分区数据丢失时，需要重新构建整个RDD

  • 场景：如果子RDD的某个分区的数据丢失
    • 无标记：不清楚父RDD与子RDD数据之间的关系，必须重新构建整个父RDD所有数据
    • 有标记：父RDD一个分区只对应子RDD的一个分区，按照对应关系恢复父RDD的对应分区即可

提高数据转换的性能，将连续窄依赖操作使用同一个Task都放在内存中直接转换

  • 场景：如果RDD需要多个map、flatMap、filter、reduceByKey、sortByKey等算子的转换操作
    • 无标记：每个转换不知道会不会经过Shuffle，都使用不同的Task来完成，每个Task的结果要保存到磁盘
    • 有标记：多个连续窄依赖算子放在一个Stage中，共用一套Task在内存中完成所有转换，性能更快
Kazi_1024
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark 3.4.2 mongodb 整合依赖包
05-06
spark 版本 3.4.2 mongodb 整合依赖包 mongodb 依赖版本 10.2.3
spark-dependencies:用于依赖项链接的Spark作业
05-25
Jaeger Spark依赖项 这是一个Spark作业，它从存储中收集跨度，分析服务之间的链接，并将其存储以供以后在UI中呈现。 请注意，生产部署需要它。 all-in-one分发不需要这项工作。 此作业根据UTC解析给定日期的所有跟踪。 默认情况下，它处理当前日期，但可以明确指定其他日期。 该存储库基于 。 快速开始 Spark作业可以作为docker容器运行，也可以作为Java可执行文件运行： 码头工人： $ docker run --env STORAGE=cassandra --env CASSANDRA_CONTACT_POINTS=host1,host2 jaegertracing/spark-dependencies 使用--env JAVA_OPTS=-Djavax.net.ssl. 设置信任库和其他Java属性。 作为jar文件： STORAGE=cassa
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖： 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女 宽依赖 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 总结：宽依赖我们形象的比喻为超生 ps:Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前
spark依赖
01-07
– 4.0.0 com.bjsxt.spark MySpark 1.0-SNAPSHOT – UTF-8 1.8 1.8 – – org.apache.spark spark-core_2.11 2.3.1 – org.apache.spark spark-sql_2.11 2.3.1 – org.apache.spark spark-hive_2.11 2.3.1 – mysql mysql-connector-java 5.1.47 – org.apache.spark spark-streaming_2.11 2.3.1 – org.apache.spark spark-streamin
spark3.1.1和hadoop3.2.2对应的java依赖 pom文件
04-25
为了把spark2.4.X和hadoop2.7.3升级为spark3.1.1和hadoop3.2.2找了半天资源，最后还是自己手动编写了一个。已经在集群上测试可用
宽依赖和窄依赖_Spark --【宽依赖和窄依赖】
weixin_34304211的博客
02-12 2804
1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...
[Maven]项目中遇到的参数作用记录
LeoSong121的博客
07-15 211
Maven Scope * compile，缺省值，适用于所有阶段，会随着项目一起发布。 * provided，类似compile，期望JDK、容器或使用者会提供这个依赖。如servlet.jar。 * runtime，只在运行时使用，如JDBC驱动，适用运行和测试阶段。 * test，只在测试时使用，用于编译和运行测试代码。不会随项目发布。 * system，类似provided，需要显式提供包含依赖的jar，Maven不会在Repository中查找它 ...
RDD宽依赖和窄依赖理解
raven_41的专栏
07-25 1465
1）RDD概念：Resilient Distributed Datasets 弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显示的将数据存储到磁盘和内存中，并且能控制数据分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区集合，只能通过在其他RDD执行确定的转换操作(transformation)而创建。RDD可看作一个spark对象，他本身存在于内存中，如对文件计算是一个RDD。 一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以相互依赖。如
Spark宽依赖窄依赖的区别
最新发布
话数Science
10-03 1439
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 1971
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
Spark 窄依赖、款依赖
weixin_36058293的博客
06-04 212
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Suubyy/article/details/81190460 窄依赖 定义：窄依赖英文为Narrow Dependency。在Spark中，我们具体操作的是RDD数据，而RDD是由多个Partition组成的，所以实际上我们真正操作的是Partition上的数据。当我们操作Parti...
Spark中窄依赖和宽依赖
wk022的专栏
06-07 982
窄依赖：一个父RDD的分区对应一个子RDD的分区 宽依赖：一个父RDD的分区对应多个子RDD的分区
Spark --【宽依赖和窄依赖】
weixin_33717117的博客
05-05 129
前言 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, ...
详解 Spark RDD 的宽窄依赖关系
weixin_43958974的博客
01-04 3256
前言 上期讲解了 Spark RDD 核心结构及其概念，本期详细讲一讲 Spark RDD 依赖关系的内容。 学习目标 RDD 的依赖关系 如何区分宽窄依赖 为何设计要宽窄依赖 RDD的依赖关系 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数据，那么只能对原有 RDD 进行转化操作，也就是在原来 RDD 基础上创建一个新的RDD。 那么，在整个任务的运算过程中，RDD 的每次转换都会生成一个新的 RDD，因此 RDD 们之间会产生前后依赖的关系.
Spark 宽窄依赖
weixin_30955341的博客
04-17 341
面试时被问到spark RDD的宽窄依赖，虽然问题很简单，但是答得很不好。还是应该整理一下描述，这样面试才能答得更好。 看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。 原文链接：https://www.jianshu.com/p/5c2301dfa360 1.窄依赖 窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD...
宽依赖和窄依赖
https://blog.csdn.net/sinat_36710456
01-03 1476
声明：本文已对原博客适当添改（亲测有效），便于本人理解。可通过底部链接访问原博客。   宽依赖与窄依赖      窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。      宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition，会引起shuffle。 宽依赖和窄依赖如下图所示： 窄依赖的函数有：map, fi...
Spark：宽依赖与窄依赖
简单随风的博客
09-02 5578
窄依赖(Narrow Dependency):指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，RDD的每个partition仅仅依赖于父RDD 中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 宽依赖(Shuffle Dependency):父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、 reduceByKey，sortBykey等算子，这些算.
Spark07： 宽窄依赖、Stage的划分
anglemanyi的博客
02-01 1055
也就是说，每一个父RDD的partition中的数据都可能会传输一部分到下一个RDD的每个partition中。一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。（2）再看下面，RDD G到RDD F，产生了宽依赖，所以RDD F属于一个Stage，因为RDD F和 RDD C、D、E 这几个RDD没有产生宽依赖，都是窄依赖，所以他们属于一个Stage。
Spark RDD依赖机制
07-10
Spark RDD（弹性分布式数据集）的依赖机制是Spark实现容错性和高效计算的核心机制之一。 在Spark中，每个RDD都表示一个可分区、只读的数据集。RDD之间的依赖关系描述了RDD之间的转换操作，并指示了RDD如何通过转换...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值