Spark的RDD的依赖关系

最新推荐文章于 2023-04-03 16:40:05 发布
最新推荐文章于 2023-04-03 16:40:05 发布
阅读量710 收藏
点赞数 2
分类专栏： 大数据 Spark 文章标签： Spark的RDD的依赖关系 宽依赖 窄依赖 Lineage
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41544550/article/details/90678736
版权

RDD的依赖关系：宽依赖、窄依赖、Lineage（血统关系）

宽依赖：指的是多个子RDD的Partition会依赖同一个父RDD的Partition，会引起shuffle（可以理解为超生）

窄依赖：指的是每一个父RDD的Partition最多被子RDD的一个Partition使用（可以理解为独生子女）

        

Lineage：应用在整个过程中，RDD之间形成的产生关系，就叫做血统关系，RDD在没有持久化的时候默认是不保存的，如果需要那么根据血统关系来重新计算。

RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。

        

推荐：

Spark的RDD介绍

Spark的RDD操作：转换（transformation）和行动（action）

Spark的DAG图

蓦然_
关注
专栏目录
spark RDD 之间得依赖关系
wjl7813的博客
04-30 1381
RDD中不同的操作会使得不同RDD中的分区会产生不同的依赖。RDD中的依赖关系分为窄依赖（Narrow Dependency）与宽依赖（Wide Dependency），图9-10展示了两种依赖之间的区别。窄依赖表现为一个父RDD的分区对应于一个子RDD的分区，或多个父RDD的分区对应于一个子RDD的分区；比如图9-10(a)中，RDD1是RDD2的父RDD，RDD2是子RDD，RDD1的分区1，...
RDD的依赖关系
隔壁老杨的专栏
05-03 3201
RDD的依赖关系 Rdd之间的依赖关系通过rdd中的getDependencies来进行表示， 在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages privatedefgetMissingParentStages(stage: Stage): List[Stage] = { valmissing =newHash
RDD依赖关系
yingzi的技术博客
03-08 1194
1）RDD血缘关系 RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 命令：toDebugString 2）RDD依赖关系 两个相邻RDD之间的关系 3）RDD窄依赖 窄依赖表示每一个父（上游）RDD的Partition最多被子（下游）RDD的一个Partition使用。 窄依赖可以形象的比喻
spark core之 RDD 之间的依赖关系
wjl7813的博客
09-10 295
什么是RDD之间的依赖关系? 什么是关系(依赖关系) ? 从算子视角上来看,splitRDD通过map算子得到了tupleRDD, 所以splitRDD和tupleRDD之间的关系是map 但是仅仅这样说, 会不够全面, 从细节上来看,RDD只是数据和关于数据的计算, 而具体执行这种计算得出结果的是一个神秘的其它组件, 所以, 这两个RDD的关系可以表示为splitRDD的数据通过map操作, 被传入tupleRDD, 这是它们之间更细...
Spark基础【RDD依赖关系--源码解析】
weixin_43923463的博客
08-17 233
主要为shuffle设计，如果存在shuffle，需要一个完整的阶段（resultStage）一分为二，前一个阶段（shuffleMapStage）用于写数据和进行数据的落盘，前一个阶段执行完成才可以进行下一个阶段，resultStage包含shuffleMapStage。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。相邻两个RDD之间的关系，称之为依赖关系，多个连续的依赖关系称之为血缘关系。...
Spark—RDD依赖&血缘关系
weixin_42570840的博客
06-19 832
Spark-core中的RDD依赖和血缘关系
大数据之Spark（三）：RDD 依赖
Oak_Komorebi的博客
08-21 525
一、RDD 依赖 窄依赖（narrow dependency） 说明：父RDD与子RDD是窄依赖时,父RDD的每个分区只被一个子RDD分区使用一次 窄依赖分为两种： 一种是一对一的依赖，即 OneToOneDependency 还有一个是范围的依赖 RangeDependency ，它仅仅被 org.apache.spark.rdd.UnionRDD 使⽤。 UnionRDD 是 把多个RDD合成⼀个RDD，这些RDD是被拼接而成，每个父RDD的 Partition 的相对顺序不会变，只不过每个父
Spark-RDD的依赖关系
自律
12-27 518
RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖和宽依赖。 窄依赖 子rdd对应一个或有限个父rdd 宽依赖 子rdd对应所有父rdd 宽依赖就会发生shuffle过程 Lineage(血统) 将创建RDD的一系列Lineage（即血统） 记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部 分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 DAG有向无环图 RDD任务的切分 并行度：程序同一时间执行作业的线程个数。 原
spark 的RDD依赖系
do_what_you_can_do的博客
11-10 487
RDD和它依赖的parent RDD(s)的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。      1）窄依赖指的是每一个parent RDD的Partition最多被子RDD的一个Partition使用，如图1所示。      2）宽依赖指的是多个子RDD的Partition会依赖同一个parent RDD的Part
spark中RDD 的依赖关系
努力努力再努力！的博客
05-20 5232
** spark中RDD 的依赖关系 ** 1、RDD 的依赖 RDD 和它依赖的父RDD 的关系有两种不同的类型， 即窄依赖（ narrowdependency）和宽依赖（wide dependency）。 2、窄依赖 窄依赖指的是每一个父RDD 的Partition 最多被子RDD 的一个Partition 使用 总结：窄依赖我们形象的比喻为独生子女 3、宽依赖 ...
Spark RDD 依赖关系
路漫漫其修远兮，吾将上下而求索
11-29 5653
Spark RDD的依赖关系 RDD之间的依赖关系分为两种，分别是NarrowDependency与ShuffleDependency，其中ShuffleDependency为子RDD的每个Partition都依赖于父RDD的所有Partition，而NarrowDependency则只依赖一个或部分的Partition。下图的groupBy与join操作是ShuffleDependency，map
Spark RDD 之间的依赖关系
01-30 1235
RDD就是一个不可变的带分区的记录集合，Spark提供了RDD上的两类操作，转换（transformation）和动作（action）。 转换是用来定义一个新的RDD，包括map, flatMap, filter, union, sample, join, groupByKey, cogroup, ReduceByKey, cros, sortByKey, mapValues等。 动作是返回一个...
RDD 依赖关系
m0_72168501的博客
02-03 206
RDD 血缘关系，依赖关系讲解
RDD依赖关系解密
a11a2233445566的专栏
01-18 502
1,窄依赖是指每个父RDD的一个Partition最多被子RDD的一个Partition所使用，例如map、filter、union等都会产生窄依赖； 2，宽依赖是指一个父RDD的Partition会被多个子RDD的Partition所使用，例如groupByKey、reduceByKey、sortByKey等操作都会产生宽依赖   总结：如果父RDD的一个Partition被一个子RDD的
RDD的依赖关系(重要)
shyming's blog
08-30 423
RDD的依赖关系窄依赖宽依赖图解 RDD和它的依赖的父RDD（s）的关系有两种不同的类型，及窄依赖(narrow dependency)和宽依赖(wide dependency) 窄依赖 窄依赖指的是每一个父RDD的partition最多被子RDD的一个partition使用 总结：窄依赖，形象的说就是独生子女 宽依赖 宽依赖指的是多个子RDD的partition会依赖于同一个父RDD的partition 总结：宽依赖，形象的说就是超生。 ps：宽依赖就会发生shuffle的过程 图解 注意：join只有
大数据技术之Spark（四）——RDD依赖关系
five小点心的博客
04-03 981
我们之前在maven中使用过的依赖，即在创建项目的时候需要用到哪些其他的项目，或者第三方的模块/类库，我们需要依赖于它，这就是。在spark中，如果A用到了B，我们就称A依赖于B，B用到了C，那么B依赖于C。此时，A和C的关系称为（maven框架），在spark中我们称这种关系为。同样的，如果RDD1依赖于RDD2，RDD2依赖于RDD3，如：val rdd1 = rdd.map(_*2)那么我们称呼相邻的两个RDD的关系为。多个连续的RDD的依赖关系，称之为。。
Spark RDD依赖机制
最新发布
07-10
当执行一个Action操作时，Spark会根据RDD之间的依赖关系动态构建执行计划，并将其转化为一系列的任务来执行。 通过依赖机制，Spark可以实现容错性，即当某个分区的数据丢失或计算失败时，可以通过依赖关系重新计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值