spark的宽窄依赖

最新推荐文章于 2023-10-03 10:45:16 发布
最新推荐文章于 2023-10-03 10:45:16 发布
阅读量550 收藏
点赞数
文章标签： spark 大数据 hadoop Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41745141/article/details/129423347
版权

窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。

窄依赖的算子有：map, filter, union, join(父RDD是hash-partitioned ), mapPartitions, mapValues。

宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition。

宽依赖的算子有：groupByKey, join(父RDD不是hash-partitioned ), partitionBy。

伊一cherry大数据
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
详解 Spark RDD 的宽窄依赖关系
weixin_43958974的博客
01-04 3334
前言 上期讲解了 Spark RDD 核心结构及其概念，本期详细讲一讲 Spark RDD 依赖关系的内容。 学习目标 RDD 的依赖关系 如何区分宽窄依赖 为何设计要宽窄依赖 RDD的依赖关系 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数据，那么只能对原有 RDD 进行转化操作，也就是在原来 RDD 基础上创建一个新的RDD。 那么，在整个任务的运算过程中，RDD 的每次转换都会生成一个新的 RDD，因此 RDD 们之间会产生前后依赖的关系.
浅谈Spark中的宽依赖和窄依赖
一个数据小开发的博客
04-28 2097
1、何为Spark中的宽依赖和窄依赖 1.1、官方源码解释 1.1.1、NarrowDependency（窄依赖） /** * :: DeveloperApi :: * Base class for dependencies where each partition of the child RDD depends on a small number * of partitions of the parent RDD. Narrow dependencies allow for pipelin
Spark宽依赖窄依赖的区别
话数Science
10-03 1621
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
算子的分类和 宽依赖算子、窄依赖算子
狂躁的辣条的博客
04-26 4548
一、转换算子 转换算子：Transformation，懒执行，需要Action触发执行 filter 过滤 RDD[T]==>RDD[T],窄依赖 map RDD[T] ->RDD[O], 窄依赖 flatMap RDD[T]–>RDD[[O]],一对多 ，窄依赖, mapToPair sample 抽样算子 RDD[T]–>RDD[O],窄依赖 sortBy RDD[T...
宽依赖和窄依赖_spark的宽依赖窄依赖
weixin_36145673的博客
12-23 1897
1RDD的依赖关系及容错1.1RDD的依赖关系RDD的依赖关系分为两种：窄依赖(Narrow Dependencies)与宽依赖(Wide Dependencies，源码中称为ShuffleDependencies)依赖有2个作用，其一用来解决数据容错的高效性；其二用来划分stage。窄依赖：每个父RDD的一个Partition最多被子RDD的一个Partition所使用(1:1或n:1)。例如...
spark 3.4.2 mongodb 整合依赖包
05-06
在Spark和MongoDB的整合过程中，理解相关的依赖管理和配置是至关重要的。Spark作为一个强大的大数据处理框架，能够与多种数据源进行交互，包括NoSQL数据库如MongoDB。在Spark 3.4.2版本中，我们可以利用特定的依赖包...
spark依赖
01-07
– 4.0.0 com.bjsxt.spark MySpark 1.0-SNAPSHOT – UTF-8 1.8 1.8 – ...org.apache.spark spark-core_2.11 ...org.apache.spark spark-sql_2.11 ...org.apache.spark spark-hive_2.11 ...org.apache.spark ...spark-streamin
spark3.1.1和hadoop3.2.2对应的java依赖 pom文件
04-25
为了把spark2.4.X和hadoop2.7.3升级为spark3.1.1和hadoop3.2.2找了半天资源，最后还是自己手动编写了一个。已经在集群上测试可用
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄...ps:Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前
spark期末复习资料
最新发布
06-07
大学生期末复习《spark编程基础（python版）》
Spark笔试题
热门推荐
china_demon的专栏
11-09 2万+
1. Spark 的四大组件下面哪个不是 (D ) A.Spark Streaming B Mlib  C Graphx D Spark R 2.下面哪个端口不是 spark 自带服务的端口 (C ) A.8080 B.4040 C.8090 D.18080 3.spark 1.4 版本的最大变化 (B ) A spark sql Release 版本 B 引入 Spa
[Maven]项目中遇到的参数作用记录
LeoSong121的博客
07-15 213
Maven Scope * compile，缺省值，适用于所有阶段，会随着项目一起发布。 * provided，类似compile，期望JDK、容器或使用者会提供这个依赖。如servlet.jar。 * runtime，只在运行时使用，如JDBC驱动，适用运行和测试阶段。 * test，只在测试时使用，用于编译和运行测试代码。不会随项目发布。 * system，类似provided，需要显式提供包含依赖的jar，Maven不会在Repository中查找它 ...
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2106
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
Spark的宽依赖和窄依赖
边看边学
12-18 423
RDD算子操作会使得RDD分区之间产生不同依赖，主要有两种依赖：宽依赖和窄依赖。 宽依赖：是指一个父RDD的各个分区被一个子RDD的各个分区多次依赖， 窄依赖：是指一个父RDD的各个分区被一个子RDD的各个分区一次依赖，或者多个父RDD的分区对应一个子RDD分区。 如下图所示： 注意：有一些特殊的RDD算子分两种情况，可能是窄依赖也可能是宽依赖，如join算子。 ...
Spark面试题
索JM以后是大牛的博客
02-04 605
Spark Spark具备哪些优势 1）高效性：内存计算下，Spark比MapReduce快100倍。Spark使用最先进的DAG(有向无环图）调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能 2）易用性：Spark支持Java,Python和Scala的API，还支持超过八十种算法，使用户可以快速构建多样的应用 3）通用性：Spark提供了统一的解决方案。Spark可以用...
窄依赖和宽依赖
bigdata_player
03-15 193
窄依赖： 指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区，和两个父RDD的分区对应于一个子RDD 的分区。图中，map/filter和union属于第一类，对输入进行协同划分（co-partitioned）的join属于第二类。 宽依赖： 指子RDD的分区依赖于父RDD的所有分区，这是因为shuffle类操作...
Spark的宽窄依赖
Buutoorr的博客
09-20 2796
浅谈宽窄依赖及流水线优化
spark中stage的划分与宽依赖/窄依赖(转载+自己理解/整理)
微电子学与固体电子学-俞驰
05-05 1817
[1]宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet： 上图：一张网上的图： 基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖： 我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。 同样，UNION算子也是...
聊聊Spark中的宽依赖和窄依赖
夜阑听风
07-08 1万+
开门见山，本文就针对一个点，谈谈Spark中的宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet：上图：一张网上的图：基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖：我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。同样...
Spark RDD依赖机制
07-10
Spark RDD（弹性分布式数据集）的依赖机制是Spark实现容错性和高效计算的核心机制之一。 在Spark中，每个RDD都表示一个可分区、只读的数据集。RDD之间的依赖关系描述了RDD之间的转换操作，并指示了RDD如何通过转换...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

伊一cherry大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值