【Spark】RDD依赖讲解（宽依赖和窄依赖）

最新推荐文章于 2023-05-08 09:16:18 发布
最新推荐文章于 2023-05-08 09:16:18 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Spark 大数据 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014028317/article/details/102889277
版权

一、窄依赖（narrow dependencies）

1、子RDD的每个分区依赖于常数个父分区（既与数据规模无关）

2、输入输出一对一的算子，且结果RDD的每个分区结构不变，主要是map、flatMap

3、输入输出一对一，但结果RDD的结构发生了变化，如union、coalesce

4、从输入中选择部分元素的算子，如filter、distinct、subtract、sample

二、宽依赖（wide dependencies）

1、子RDD的每个分区依赖于所有父RDD分区

2、对单个RDD基于key进行重组和reduce，如groupByKey、reduceByKey

3、对两个RDD基于key进行join和重组，如join

 

晚风中的自由
关注
专栏目录
SparkRDD数据窄依赖与宽依赖
程序员光剑
06-29 675
《Spark RDD 数据窄依赖与宽依赖》 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Spark RDD，窄依赖，宽依赖，数据并行处理，MapReduce 1. 背景介绍
Spark RDD操作讲解
u012893747的博客
08-10 3005
spark rdd 操作 spark rdd算子分类及作用
Spark大数据处理讲课笔记3.4 理解RDD依赖
最新发布
ting_tu_ran_de的博客
05-08 213
懒加载特性二、窄依赖窄依赖是指父RDD的每一个分区最多被一个子RDD的分区使用，即OneToOneDependencies。窄依赖的表现一般分为两类，第一类表现为一个父RDD的分区对应于一个子RDD的分区；第二类表现为多个父RDD的分区对应于一个子RDD的分区。一个父RDD的一个分区不可能对应一个子RDD的多个分区。为了便于理解，我们通常把窄依赖形象地比喻为独生子女。RDD做map、filter和union算子操作时，是属于窄依赖的第一类表现；
Spark RDD的依赖关系
Running_Tiger的博客
03-05 320
RDD的依赖关系1. RDD的依赖关系RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。2. 窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女3. 宽依赖宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Par
spark中RDD 的依赖关系
努力努力再努力！的博客
05-20 5232
** spark中RDD 的依赖关系 ** 1、RDD 的依赖 RDD 和它依赖的父RDD 的关系有两种不同的类型， 即窄依赖（ narrowdependency）和宽依赖（wide dependency）。 2、窄依赖 窄依赖指的是每一个父RDD 的Partition 最多被子RDD 的一个Partition 使用 总结：窄依赖我们形象的比喻为独生子女 3、宽依赖 ...
Spark中RDD的依赖关系
hunter95671的博客
09-20 709
一、RDD血缘关系 RDD 只支持粗粒度转换，即在大量记录上执行的单个操作，在RDD上的每次操作会生成一个新的RDD。将创建 RDD 的一系列 Lineage（血统）记录下来，以便恢复丢失的分区。RDD 的 Lineage 会记录 RDD 的元数据信息和转换行为，当该 RDD 的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 二、RDD 依赖关系 所谓的依赖关系，其实就是两个相邻 RDD 之间的关系。 三、RDD 的宽依赖与窄依赖 宽依赖表示同一个父（上游）RDD 的 Partiti
Spark RDD的宽依赖和窄依赖
chuangxinge123的博客
04-01 2505
系列文章目录 Spark RDD 的宽窄依赖关系 文章目录系列文章目录Spark RDD 的宽窄依赖关系前言一、RDD的依赖关系？二、如何区分宽依赖和窄依赖？三、为什么要设计宽窄依赖？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 一、RDD的依赖关系？ 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数
Spark_RDD宽窄依赖关系
写的不好之处,请指教
04-17 4735
宽窄依赖 ●两种依赖关系类型 RDD和它依赖的父RDD的关系有两种不同的类型，即 宽依赖(wide dependency/shuffle dependency) 窄依赖(narrow dependency) ●图解 ●如何区分宽窄依赖 窄依赖:父RDD的一个分区只会被子RDD的一个分区依赖 宽依赖:父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle) ●面试题： 子RDD的一个...
sparkrdd的讲解
04-28
### Spark RDD详解 #### Spark计算模型与RDD概念 在探讨Spark的弹性分布式数据集（RDD）之前，我们首先需要理解Spark的基本计算模型。Spark是一种基于内存的分布式计算框架，其核心设计思想在于通过缓存中间结果来...
spark rdd 实战 ，基本语法
01-24
本文将对 Spark RDD 进行深入浅出的讲解，涵盖 Spark 的基本特性、生态体系、优势、支持的 API、运行模式、RDD 的概念和类型、容错 Lineage、缓存策略等知识点。 Spark 的基本特性 Spark 是一个高可伸缩性、高...
Spark--RDD依赖关系
小兔子乖乖
09-23 245
RDD依赖关系一. RDD血缘关系二. RDD依赖关系三. RDD窄依赖四. RDD宽依赖 一. RDD血缘关系 ——> #mermaid-svg-1BaG3IT6EZQABSyp .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-1BaG3IT6EZQABSyp .label text{fill:#333}
大数据技术之Spark（四）——RDD依赖关系
five小点心的博客
04-03 980
我们之前在maven中使用过的依赖，即在创建项目的时候需要用到哪些其他的项目，或者第三方的模块/类库，我们需要依赖于它，这就是。在spark中，如果A用到了B，我们就称A依赖于B，B用到了C，那么B依赖于C。此时，A和C的关系称为（maven框架），在spark中我们称这种关系为。同样的，如果RDD1依赖于RDD2，RDD2依赖于RDD3，如：val rdd1 = rdd.map(_*2)那么我们称呼相邻的两个RDD的关系为。多个连续的RDD的依赖关系，称之为。。
Spark系列--SparkCore(四)RDD的依赖关系及运行规划
淡淡的倔强的博客
07-19 1640
本篇以WordCount为例，去分析RDD的依赖关系和任务切分机制，分析样例如下： sc.textFile(“xx") .flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_+_) .saveAsTextFile(“xx") 一、RDD的依赖关系 RDD的依赖分为两种：窄依赖、宽依赖 窄依赖指的是每一...
spark2原理分析-RDD的依赖(Dependencies)原理分析
zg_hover的专栏
10-28 997
概述 本文讲述了RDD依赖的原理，并对其实现进行了分析。 Dependency的基本概念 Dependency表示一个或两个RDD的依赖关系。 依赖(Dependency)类是用于对两个或多个RDD之间的依赖关系建模的基础（抽象）类。 Dependency有一个方法rdd来访问依赖的RDD。 当你使用transformation函数来构建RDD的血缘(lineage)时，Dependency代表了...
Spark RDD机制（持久化、依赖关系、checkpoint）
libaowenBlog的博客
08-18 908
一、RDD持久化 二、RDD的依赖关系 三、checkpoint机制
spark_note05_RDD依赖关系&spark架构_2
__init__的博客
09-23 282
（一）spark RDD的依赖关系 1.窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 比喻：独生子女 结论：窄依赖不会产生shuffle 比如：flatMap/map/filter… ​ 2.宽依赖 窄依赖指的是父RDD的Partition被子RDD的多个Partition使用 比喻：超生 结论：宽依赖会产生shuffle 比如：reduce...
Spark RDD 特征及其依赖
止鱼
09-23 1193
1 RDD特征 分区（partition） 有一个数据分片列表，能够将数据进行切分，切分后的数据能够进行并行计算，是数据集的原子组成部分 函数 compute 计算每个分片，得出一个可遍历的结果，用于说明在父RDD上执行何种计算 依赖 dependency 计算每个RDD对父RDD的依赖列表，源RDD没有依赖，通过依赖关系描述血统（lineage） 优先位置（可选） 每一个分片的优先计算位置（pr...
Spark入门：RDD详解与SparkShell使用
“Spark学习-day1，讲解Spark RDD和Spark Shell的使用，以及Spark与Hadoop的关系，探讨数据处理和内存管理。提供了Spark应用的基本架构和RDD的概念，还提及了在IDEA中配置Spark项目的步骤。” 在Spark的学习旅程中...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值