spark中RDD的宽依赖和窄依赖

最新推荐文章于 2023-09-19 11:18:17 发布
最新推荐文章于 2023-09-19 11:18:17 发布
阅读量331 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44105991/article/details/103632217
版权
宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分区通常...
摘要由CSDN通过智能技术生成

宽依赖与窄依赖

窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。
下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。
在这里插入图片描述
宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分区通常对应所有的父RDD分区(与数据规模有关)，会产生shuffle
在这里插入图片描述

宽依赖与窄依赖对比：

  1. 宽依赖往往对应着shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中&

最低0.47元/天 解锁文章
WSQ(E)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖： 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们...
RDD宽依赖和窄依赖理解
raven_41的专栏
07-25 1476
1）RDD概念：Resilient Distributed Datasets 弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显示的将数据存储到磁盘和内存中，并且能控制数据分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区集合，只能通过在其他RDD执行确定的转换操作(transformation)而创建。RDD可看作一个spark对象，他本身存在于内存中，如对文件计算是一个RDD。 一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以相互依赖。如
Spark中RDD的宽依赖和窄依赖详解
SOARING
04-25 8976
宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。 下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。 宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分...
详解 Spark RDD 的宽窄依赖关系
weixin_43958974的博客
01-04 3342
前言 上期讲解了 Spark RDD 核心结构及其概念，本期详细讲一讲 Spark RDD 依赖关系的内容。 学习目标 RDD 的依赖关系 如何区分宽窄依赖 为何设计要宽窄依赖 RDD的依赖关系 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数据，那么只能对原有 RDD 进行转化操作，也就是在原来 RDD 基础上创建一个新的RDD。 那么，在整个任务的运算过程中，RDD 的每次转换都会生成一个新的 RDD，因此 RDD 们之间会产生前后依赖的关系.
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 595
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
spark.1 rdd 分区 宽依赖 窄依赖 stage job
笔生花的博客
10-18 968
RDD: rdd是是不可更改的，分区的，可并行执行的分布式数据集。partition是rdd的重要概念也可以说rdd是一组分区数据组成的，而不同的分区可以发送到不同的节点上并行执行，rdd的概念造是数据能够并行执行的基础。 ...
Spark RDD是什么？
01-07
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节将对 RDD 的基本概念及...
Spark学习笔记之Spark中的RDD的具体使用
08-25
Spark学习笔记之Spark中的RDD的具体使用 本文主要介绍了Spark学习笔记之Spark中的RDD的具体使用，通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值。 知识点一：RDD的概念和特点 * RDD...
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
实验中首先安装了 Spark 和其依赖项，然后通过 RDD 编程实现了 wordcount 的功能。最后，通过 Spark 编程实现了 wordcount Scala 程序，并对实验结果进行了分析。 知识点一：Spark 安装 * 在 Windows 环境下安装 ...
第二章 Spark RDD以及编程接口
01-07
第二章 Spark RDD以及编程接口 目录 Spark程序”Hello World” Spark RDD 创建操作 转换操作 控制操作 行动操作 注：学习《Spark大数据处理技术》笔记 1. Spark程序”Hello World” 1. 概述 计算存储在HDFS的Log...
详解RDD的两种依赖关系
zy1992As的博客
09-19 716
这里的输入协同划分是指多个父RDD的某一个分区的所有Key，被划分到子RDD的同一分区，而不是指同一个父RDD的某一个分区，被划分到子RDD的两个分区中。当子RDD做算子操作，因为某个分区操作失败导致数据丢失时，只需要重新对父RDD中对应的分区（与子RDD相对应的分区）做算子操作即可恢复数据。也就是说，一个父RDD的一个分区不可能对应一个子RDD的多个分区。从图2可以看出，父RDD做groupByKey和join（输入未协同划分）算子操作时，子RDD的每一个分区都会依赖于所有父RDD的所有分区。
RDD的宽窄依赖
qq_37283909的博客
05-11 621
在设计RDD的接口时，一个有意思的问题是如何表现RDD之间的依赖。在RDD中将依赖划分成了两种类型：窄依赖(narrow dependencies)和宽依赖(wide dependencies)。窄依赖是指父RDD的每个分区都只被子RDD的一个分区所使用。相应的，那么宽依赖就是指父RDD的分区被多个子RDD的分区所依赖。例如，map就是一种窄依赖，而join则会导致宽依赖(除非父RDD是hash-...
Spark的RDD的依赖关系
qq_41544550的博客
05-29 677
RDD的依赖关系：宽依赖、窄依赖、Lineage（血统关系） 宽依赖：指的是多个子RDD的Partition会依赖同一个父RDD的Partition，会引起shuffle（可以理解为超生） 窄依赖：指的是每一个父RDD的Partition最多被子RDD的一个Partition使用（可以理解为独生子女） Lineage：应用在整个过程中，RDD之间形成的产生关系，就叫做血统...
Spark RDD宽依赖和窄依赖
sharkdoodoo
03-14 211
Spark中RDD是相互依赖的，依赖关系分宽依赖和窄依赖
rdd 宽依赖和窄依赖
weixin_30547797的博客
05-13 115
Spark中RDD的高效与DAG图有着莫大的关系， 　　在DAG调度中需要对计算过程划分Stage， 　　而划分的依据就是就是RDD之间的依赖关系。 　　针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency） 　　和宽依赖（Wide Depencency，也称为Shuffle Depencency）。窄依赖：指父RDD的每个分区只被子RDD的一个分区所...
Spark 宽窄依赖
weixin_30955341的博客
04-17 345
面试时被问到spark RDD的宽窄依赖，虽然问题很简单，但是答得很不好。还是应该整理一下描述，这样面试才能答得更好。 看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。 原文链接：https://www.jianshu.com/p/5c2301dfa360 1.窄依赖 窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD...
Spark的宽窄依赖
Buutoorr的博客
09-20 2798
浅谈宽窄依赖及流水线优化
spark-宽窄依赖
DCHAO的博客
10-20 2550
这是rdd论文中的图，可见，宽窄依赖划分的依据并不是是否产生了网络io，而是一个分区的数据是否发生了拆分，注意，是拆分，合并不算
spark学习笔记1——rdd、宽窄依赖、DAG
tianyuzui6的博客
07-19 590
一个RDD有一个或多个分区（partitions）组成，每个partition会被一个计算任务所处理。用户可以在创建RDD时指定其分区个数，没指定则默认采用程序所分配到的cpu核心数。
spark 依赖关系宽依赖、窄依赖
最新发布
12-20
Spark依赖关系包括宽依赖和窄依赖。...总的来说，对于Spark的依赖关系，窄依赖的性能优势要大于宽依赖，因此在实际的开发中，应该尽可能地避免宽依赖的出现，结合合适的数据分区策略和依赖关系设计，来提高作业的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值