Spark RDD 依赖关系

最新推荐文章于 2023-04-03 16:40:05 发布
最新推荐文章于 2023-04-03 16:40:05 发布
阅读量5.6k 收藏 1
点赞数
文章标签： spark 地图
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16103331/article/details/53397868
版权

Spark RDD的依赖关系

  • RDD之间的依赖关系分为两种，分别是NarrowDependency与ShuffleDependency，其中ShuffleDependency为子RDD的每个Partition都依赖于父RDD的所有Partition，而NarrowDependency则只依赖一个或部分的Partition。下图的groupBy与join操作是ShuffleDependency，map和union是NarrowDependency。
  • 窄依赖(narrow dependencies)：
    子RDD的每个分区依赖于常数个父分区（与数据规模无关）
    输入输出一对一的算子，且结果RDD的分区结构不变。主要是map/flatmap
    输入输出一对一的算子，但结果RDD的分区结构发生了变化，如union/coalesce
    从输入中选择部分元素的算子，如filter、distinct、substract、sample
  • 宽依赖(wide dependencies)：
    子RDD的每个分区依赖于所有的父RDD分区
    对单个RDD基于key进行重组和reduce，如groupByKey，reduceByKey
    对两个RDD基于key进行join和重组，如join
    经过大量shuffle生成的RDD，建议进行缓存。这样避免失败后重新计算带来的开销。
    注意：reduce是一个action，和reduceByKey完全不同。

这是社区说明图片

接下来看我们的举例说明

  • 我们看到了，在上述的RDD lineage(家族) 中pairRDD 之前，pairRDD中的partition它的父RDD (wordsRDD)中的 parttion是一一对应的，wordsRDD中的某一个partition和它的父RDD（linesRDD）中的partition是一一对应的，那么也就是说，子RDD中的一个partition的数据只来源于父RDD中的相应的一个partition，而且这个父partition也只能去这个子partition，我们把这种RDD之间的关系称之为窄依赖（Narrow Dependency）
  • 和窄依赖相对应的，就是说子RDD中的某一个partition中的数据都要从父RDD中的所有的partition中拉取，也就是说每一partition都依赖于父RDD中所有partition，我们把这种RDD的依赖关系称之为宽依赖（Shuffled Dependency 或者 Wide Dependency）

窄依赖：父子RDD partition的对应关系： 1 ： 1
宽依赖: 父子RDD partition的对应关系： 1：N

Spark Application Stage 的划分算法: 从action 往前走遇到一个宽依赖，就是一个stage，stage从stage0开始

张章章Sam
关注
spark core之 RDD 之间的依赖关系
wjl7813的博客
09-10 297
什么是RDD之间的依赖关系? 什么是关系(依赖关系) ? 从算子视角上来看,splitRDD通过map算子得到了tupleRDD, 所以splitRDD和tupleRDD之间的关系是map 但是仅仅这样说, 会不够全面, 从细节上来看,RDD只是数据和关于数据的计算, 而具体执行这种计算得出结果的是一个神秘的其它组件, 所以, 这两个RDD的关系可以表示为splitRDD的数据通过map操作, 被传入tupleRDD, 这是它们之间更细...
Spark基础【RDD依赖关系--源码解析】
weixin_43923463的博客
08-17 238
主要为shuffle设计，如果存在shuffle，需要一个完整的阶段（resultStage）一分为二，前一个阶段（shuffleMapStage）用于写数据和进行数据的落盘，前一个阶段执行完成才可以进行下一个阶段，resultStage包含shuffleMapStage。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。相邻两个RDD之间的关系，称之为依赖关系，多个连续的依赖关系称之为血缘关系。...
实用 | RDD依赖关系
qq_41359684的博客
11-28 403
一、Lineage RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 （1）读取一个HDFS文件并将其中内容映射成一个个元组 scala> v...
大数据技术之Spark（四）——RDD依赖关系
five小点心的博客
04-03 986
我们之前在maven中使用过的依赖，即在创建项目的时候需要用到哪些其他的项目，或者第三方的模块/类库，我们需要依赖于它，这就是。在spark中，如果A用到了B，我们就称A依赖于B，B用到了C，那么B依赖于C。此时，A和C的关系称为（maven框架），在spark中我们称这种关系为。同样的，如果RDD1依赖于RDD2，RDD2依赖于RDD3，如：val rdd1 = rdd.map(_*2)那么我们称呼相邻的两个RDD的关系为。多个连续的RDD的依赖关系，称之为。。
Spark中RDD的依赖关系
weixin_43553142的博客
12-07 1585
RDD 之间的关系可以从两个维度来理解: 一个是 RDD 是从哪些 RDD 转换而来, 也就是 RDD 的 parent RDD(s)是什么; 另一个就是 RDD 依赖于 parent RDD(s)的哪些 Partition(s). 这种关系就是 RDD 之间的依赖。 依赖 有 2 种策略: 窄依赖(transformations with narrow dependencies) 宽依赖(transformations with wide dependencies) 宽依赖对 Spark 去评估一个 t
spark中RDD 的依赖关系
努力努力再努力！的博客
05-20 5236
** spark中RDD 的依赖关系 ** 1、RDD 的依赖 RDD 和它依赖的父RDD 的关系有两种不同的类型， 即窄依赖（ narrowdependency）和宽依赖（wide dependency）。 2、窄依赖 窄依赖指的是每一个父RDD 的Partition 最多被子RDD 的一个Partition 使用 总结：窄依赖我们形象的比喻为独生子女 3、宽依赖 ...
Spark—RDD依赖&血缘关系
weixin_42570840的博客
06-19 835
Spark-core中的RDD依赖和血缘关系
大数据之Spark（三）：RDD 依赖
Oak_Komorebi的博客
08-21 526
一、RDD 依赖 窄依赖（narrow dependency） 说明：父RDD与子RDD是窄依赖时,父RDD的每个分区只被一个子RDD分区使用一次 窄依赖分为两种： 一种是一对一的依赖，即 OneToOneDependency 还有一个是范围的依赖 RangeDependency ，它仅仅被 org.apache.spark.rdd.UnionRDD 使⽤。 UnionRDD 是 把多个RDD合成⼀个RDD，这些RDD是被拼接而成，每个父RDD的 Partition 的相对顺序不会变，只不过每个父
Spark-RDD的依赖关系
自律
12-27 520
RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖和宽依赖。 窄依赖 子rdd对应一个或有限个父rdd 宽依赖 子rdd对应所有父rdd 宽依赖就会发生shuffle过程 Lineage(血统) 将创建RDD的一系列Lineage（即血统） 记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部 分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 DAG有向无环图 RDD任务的切分 并行度：程序同一时间执行作业的线程个数。 原
spark RDD 之间得依赖关系
wjl7813的博客
04-30 1382
RDD中不同的操作会使得不同RDD中的分区会产生不同的依赖。RDD中的依赖关系分为窄依赖（Narrow Dependency）与宽依赖（Wide Dependency），图9-10展示了两种依赖之间的区别。窄依赖表现为一个父RDD的分区对应于一个子RDD的分区，或多个父RDD的分区对应于一个子RDD的分区；比如图9-10(a)中，RDD1是RDD2的父RDD，RDD2是子RDD，RDD1的分区1，...
Spark RDD依赖关系
weixin_42496757的博客
04-19 195
Lineage RDD之间存在依赖关系，称为Lineage。便于容错。 RDD依赖关系查看 rdd.toDebugString 展示RDD的多级依赖关系，返回string。 (2) MapPartitionsRDD[7] at mapValues at CityADTOP3.scala:37 [] | ShuffledRDD[5] at groupByKey at CityADTOP3...
Spark RDD 之间的依赖关系
01-30 1237
RDD就是一个不可变的带分区的记录集合，Spark提供了RDD上的两类操作，转换（transformation）和动作（action）。 转换是用来定义一个新的RDD，包括map, flatMap, filter, union, sample, join, groupByKey, cogroup, ReduceByKey, cros, sortByKey, mapValues等。 动作是返回一个...
Spark RDD 依赖
feizuiku0116的博客
11-22 442
一、为什么要设计宽窄依赖 对于窄依赖，Spark可以并行计算。如果有一个分区数据丢失，只需要从父RDD的对应1个分区重新计算即可，不需要重新计算整个任务，提高容错 对于宽依赖，是划分Stage的依据 构建Lineage血缘关系，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的数据。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区 二、窄依赖
RDD的依赖关系
隔壁老杨的专栏
05-03 3203
RDD的依赖关系 Rdd之间的依赖关系通过rdd中的getDependencies来进行表示， 在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages privatedefgetMissingParentStages(stage: Stage): List[Stage] = { valmissing =newHash
RDD依赖关系解密
a11a2233445566的专栏
01-18 502
1,窄依赖是指每个父RDD的一个Partition最多被子RDD的一个Partition所使用，例如map、filter、union等都会产生窄依赖； 2，宽依赖是指一个父RDD的Partition会被多个子RDD的Partition所使用，例如groupByKey、reduceByKey、sortByKey等操作都会产生宽依赖   总结：如果父RDD的一个Partition被一个子RDD的
Spark RDD的依赖关系
Running_Tiger的博客
03-05 320
RDD的依赖关系1. RDD的依赖关系RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。2. 窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女3. 宽依赖宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Par
Spark的RDD依赖关系
Faith_xzc
08-18 603
RDD依赖关系 RDD 血缘关系 RDD 只支持粗粒度转换，即在大量记录上执行的单个操作。将创建 RDD 的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD 的Lineage 会记录RDD 的元数据信息和转换行为，当该RDD 的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 package com.atguigu.bigdata.spark.core.rdd.dep import org.apache.spark.{SparkConf, SparkContext}
Spark的RDD的依赖关系
qq_41544550的博客
05-29 712
RDD的依赖关系：宽依赖、窄依赖、Lineage（血统关系） 宽依赖：指的是多个子RDD的Partition会依赖同一个父RDD的Partition，会引起shuffle（可以理解为超生） 窄依赖：指的是每一个父RDD的Partition最多被子RDD的一个Partition使用（可以理解为独生子女） Lineage：应用在整个过程中，RDD之间形成的产生关系，就叫做血统...
Spark RDD依赖机制
最新发布
07-10
Spark RDD（弹性分布式数据集）的依赖机制是Spark实现容错性和高效计算的核心机制之一。 在Spark中，每个RDD都表示一个可分区、只读的数据集。RDD之间的依赖关系描述了RDD之间的转换操作，并指示了RDD如何通过转换操作从父RDD生成新的子RDD。 RDD的依赖关系可以分为两种类型：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。 1. 窄依赖：当一个父RDD的每个分区只被一个子RDD的一个分区所使用时，我们称之为窄依赖。在这种情况下，Spark可以高效地进行转换操作，而无需重新计算所有的数据。例如，map、filter等转换操作都属于窄依赖。窄依赖允许Spark在计算中进行更多的优化，如任务划分、数据本地性等。 2. 宽依赖：当一个父RDD的分区被多个子RDD的分区所使用时，我们称之为宽依赖。在这种情况下，Spark需要通过将数据进行洗牌（Shuffle）操作来重新组织数据，以满足子RDD的需求。例如，groupByKey、reduceByKey等转换操作都属于宽依赖。洗牌操作需要涉及数据的网络传输和排序，因此会引入额外的开销。 Spark使用DAG（有向无环图）来表示RDD之间的依赖关系。每个RDD都包含其对应的转换操作和所依赖的父RDD。当执行一个Action操作时，Spark会根据RDD之间的依赖关系动态构建执行计划，并将其转化为一系列的任务来执行。 通过依赖机制，Spark可以实现容错性，即当某个分区的数据丢失或计算失败时，可以通过依赖关系重新计算该分区的数据。同时，Spark还可以根据依赖关系进行任务划分和数据本地化等优化，以提高计算效率和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值