RDD的依赖关系(重要)

最新推荐文章于 2024-05-23 09:42:11 发布
最新推荐文章于 2024-05-23 09:42:11 发布
阅读量342 收藏 2
点赞数
分类专栏： spark bigdata 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42706464/article/details/108304254
版权

RDD的依赖关系

RDD和它的依赖的父RDD（s）的关系有两种不同的类型，及窄依赖(narrow dependency)和宽依赖(wide dependency)

窄依赖

窄依赖指的是每一个父RDD的partition最多被子RDD的一个partition使用
总结：窄依赖，形象的说就是独生子女

宽依赖

宽依赖指的是多个子RDD的partition会依赖于同一个父RDD的partition
总结：宽依赖，形象的说就是超生。
ps：宽依赖就会发生shuffle的过程

图解

在这里插入图片描述
注意：join只有在之前进行分组操作之后，再进行join，此时就是窄依赖，
否则一定是宽依赖

爱你魔力转圈圈
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【SparkCore篇04】RDD函数传递和依赖关系1
08-04
在Spark中，RDD的函数传递和依赖关系是理解Spark计算模型的关键。 在本篇【SparkCore篇04】中，我们讨论了如何在RDD操作中处理函数传递以及与此相关的序列化问题。在Spark中，用户自定义的函数（如`Searcher`类中的...
Spark rdd讲解
06-09
### Spark RDD 概述 #### 一、Spark RDD 基础概念 ...理解 RDD 的操作类型、依赖关系以及持久化策略对于有效利用 Spark 进行数据处理至关重要。通过本教程的学习，你可以掌握如何使用 RDD 来进行高效的并行计算。
Spark---RDD依赖关系
weixin_47109902的博客
01-11 1119
如上述代码所示，words的形成依赖于lines，wordGroup依赖于words，wordToCount依赖于wordGroup。通过合理地设计RDD的转换和动作操作，可以避免不必要的Shuffle操作，提高计算效率。1.对DAG进行反向解析，遇到宽依赖（ShuffleDependency）就断开，遇到窄依赖就把当前的RDD加入到当前的阶段中。由于RDD中是不存储数据的，当计算发生错误的时候，很难重新计算丢失的数据分区。4.一个阶段中的最后一个RDD的分区个数就是Task的个数。
spark中RDD 的依赖关系
努力努力再努力！的博客
05-20 5196
** spark中RDD 的依赖关系 ** 1、RDD 的依赖 RDD 和它依赖的父RDD 的关系有两种不同的类型， 即窄依赖（ narrowdependency）和宽依赖（wide dependency）。 2、窄依赖 窄依赖指的是每一个父RDD 的Partition 最多被子RDD 的一个Partition 使用 总结：窄依赖我们形象的比喻为独生子女 3、宽依赖 ...
Spark-RDD-依赖关系详解
最新发布
喻师傅的学习笔记
05-23 856
Spark-RDD-依赖关系
Spark2.4.7源码解读RDD依赖关系
蔡政洁的博客
05-12 271
目录（1）概述（2）窄依赖（2.1）一对一依赖（2.2）范围依赖（3）宽依赖 （1）概述 Spark中RDD的高效与DAG（有向无环图）有很大的关系，在DAG调度中需要对计算的过程划分Stage，划分的依据就是RDD之间的依赖关系。RDD之间的依赖关系分为两种，宽依赖(ShuffleDependency)和窄依赖（NarrowDependency） 依赖在 Apache Spark 源码中的对应实现是 Dependency 抽象类。 /** * :: DeveloperApi :: * Base cla
spark系列11：RDD之间的依赖关系，窄依赖和宽依赖
涤生大数据
03-17 1517
1.RDD 之间的依赖关系 导读 讨论什么是 RDD 之间的依赖关系 继而讨论 RDD 分区之间的关系 最后确定 RDD 之间的依赖关系分类 完善案例的逻辑关系图 什么是RDD之间的依赖关系? 什么是关系(依赖关系) ? 从算子视角上来看,splitRDD通过map算子得到了tupleRDD, 所以splitRDD和tupleRDD之间的关系是map 但是仅仅这样说, 会不够全面, 从细节上来看,RDD只是数据和关于数据...
Spark中RDD的依赖关系
weixin_43553142的博客
12-07 1576
RDD 之间的关系可以从两个维度来理解: 一个是 RDD 是从哪些 RDD 转换而来, 也就是 RDD 的 parent RDD(s)是什么; 另一个就是 RDD 依赖于 parent RDD(s)的哪些 Partition(s). 这种关系就是 RDD 之间的依赖。 依赖 有 2 种策略: 窄依赖(transformations with narrow dependencies) 宽依赖(transformations with wide dependencies) 宽依赖对 Spark 去评估一个 t
RDD依赖关系及Stage划分源码
weixin_42796403的博客
12-28 270
RDD依赖关系 1. 查看血缘关系 RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 1）代码实现 object Lineage01 { def main(args: Array[String]): Unit = { //1.创建SparkConf并设置App名称
Spark RDD 特征及其依赖
止鱼
09-23 1180
1 RDD特征 分区（partition） 有一个数据分片列表，能够将数据进行切分，切分后的数据能够进行并行计算，是数据集的原子组成部分 函数 compute 计算每个分片，得出一个可遍历的结果，用于说明在父RDD上执行何种计算 依赖 dependency 计算每个RDD对父RDD的依赖列表，源RDD没有依赖，通过依赖关系描述血统（lineage） 优先位置（可选） 每一个分片的优先计算位置（pr...
spark 添加依赖_Spark RDD依赖关系以及分区属性
weixin_42253260的博客
12-30 291
RDD的依赖关系Spark中使用DAG(有向无环图)来描述RDD之间的依赖关系，根据依赖关系的不同，划分为宽依赖和窄依赖通过上图，可以很容易得出所谓宽依赖：多个子RDD的partition会依赖同一个parentRDD的partition；窄依赖：每个parentRDD的partition最多被子RDD的一个partition使用。这两个概念很重要，像宽依赖是划分stage的关键，并且一般都会伴有...
RDD：RDD因果推断
02-13
如果一个RDD的生成依赖于另一个RDD，那么我们就可以说前一个RDD是后一个RDD的“因”，后一个RDD是前一个RDD的“果”。通过分析这些因果关系，我们可以追踪数据流，更好地理解和调试复杂的数据处理流程。 汉森复制...
Spark学习笔记之Spark中的RDD的具体使用
08-25
* RDD可以自动容错功能，当其中一个RDD中的分区的数据丢失，或者当前节点故障时，RDD会根据依赖关系重新计算该分区的数据。 知识点二：RDD的特点 * RDD中的数据是可大可小的，RDD的数据默认情况下存放在内存中的，...
Spark RDD 资料
01-31
依赖关系是指不同 RDD 之间的依赖模式，这对于理解 Spark 如何执行任务非常重要。依赖关系分为两种类型：窄依赖和宽依赖。 - **窄依赖**：父 RDD 的每个分区只被子 RDD 的一个分区所使用。窄依赖通常表示一对一的...
spark重写排序规则（二）
shyming's blog
09-02 3194
1.样例类实现自定义排序，需要实现ordered特质,不需要实现serializable，不需要new对象（本文样例类） 2.普通类实现自定义排序，需要实现ordered特质,实现serializable 姓名name 年龄age 颜值fv 文本为(Array(“mimi1 22 85”, “mimi2 22 86”, “mimi3 23 86”)) 按照颜值降序、年龄降序排列 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkCon
RDD的概念和特性
shyming's blog
08-30 2580
1.RDD是一个抽象分布式数据集，是一个数据描述。RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。（分布式数据集） 2.并没有真正获取到数据，对元数据信息的存储，提供操作rdd的算子，100多个，常用的有几十多个。 3.有弹性的，从存储方面和数据容错方面体现RDD的弹性。 存储方面：计算时，首
Accumulator累加器（一）
shyming's blog
09-07 1734
累加器 应用场景：Driver端定义一个共享变量，将数据累加到该变量上，如果直接用foreach或map等迭代算子， 是无法将累加的变量返回到driver端，因为累加的过程发生在Executor端。一般用于计数场景下，变量往往声明在Driver端。 特性： 变量在Driver端，累加的过程是在Executor端，在累加的过程Executor端是无法读取其值的，如果想读取其值， 只能在Driver端才能读取。 自定义累加器使用（此例子为非自定义累加器）： 1.创建一个Accumulator累加器的实例 2.通
spark RDD的血缘关系
09-22
RDD的血缘关系是指RDD之间的依赖关系。当创建一个RDD时，它会记录下相关的元数据信息和转换行为，这些信息被称为RDD的血缘关系。RDD的血缘关系包括两种依赖关系：窄依赖和宽依赖。 窄依赖是指父RDD的每个分区最多只被子RDD的一个分区所使用。在计算过程中，窄依赖的RDD可以在同一个节点上并行计算，因此恢复起来更高效。常见的窄依赖操作包括map和filter。 宽依赖是指父RDD的每个分区被多个子RDD的分区所使用。宽依赖的RDD需要将数据跨节点传输后才能进行计算，类似于MR的shuffle过程。在失败恢复中，宽依赖相对复杂一些，因为需要恢复多个父RDD的分区。常见的宽依赖操作包括groupByKey和reduceByKey。 在RDD的血缘关系中，还有一个重要的概念是Stage。Stage是由一组RDD组成的可进行优化的执行计划。如果RDD的衍生关系为窄依赖，它们可以放在同一个Stage中运行。如果RDD的依赖关系为宽依赖，它们需要划分到不同的Stage中。这样，Spark在执行任务时会根据Stage的划分生成一个完整的最优执行计划。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值