Spark的宽窄依赖关系

已于 2023-02-20 09:19:34 修改
阅读量89 收藏
点赞数
分类专栏： 大数据 文章标签： spark 大数据
于 2023-02-19 16:36:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sijiwang95/article/details/129111861
版权
窄依赖是指上游RDD的每个分区只被下游的一个分区使用，不涉及数据shuffle，适合并行计算。而宽依赖则是上游的数据会分散到下游多个分区，需要shuffle操作，这种依赖会划分Stage，确保相同数据只被同一下游分区接收。
摘要由CSDN通过智能技术生成
窄依赖 : 上游的 RDD 的分区的数据 . 被下游的分区完全的继承 , 那么我将这样的依赖关系称为窄依赖关系 窄依赖关系之间
是没有 shuffle
目的 : 支持并行的计算
宽依赖 : 上游的 RDD 的分区数据 , 分发的下游的多个分区所接收 , 中间存在 shuffle 的操作
目的 : 划分 Stage，保证上游RDD分区相同类型的数据被下游同一个分区接受
javaisGod_s
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 3.4.2 mongodb 整合依赖包
05-06
在Spark和MongoDB的整合过程中，理解相关的依赖管理和配置是至关重要的。Spark作为一个强大的大数据处理框架，能够与多种数据源进行交互，包括NoSQL数据库如MongoDB。在Spark 3.4.2版本中，我们可以利用特定的依赖包...
spark依赖
01-07
– 4.0.0 com.bjsxt.spark MySpark 1.0-SNAPSHOT – UTF-8 1.8 1.8 – ...org.apache.spark spark-core_2.11 ...org.apache.spark spark-sql_2.11 ...org.apache.spark spark-hive_2.11 ...org.apache.spark ...spark-streamin
Spark宽窄依赖详解
热门推荐
modefrog的博客
03-16 2万+
1.宽窄依赖 图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。例如GroupByKey，reduceByKey，join，sortByKey等操作。图右边是窄依赖，父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号...
Spark的宽窄依赖
Buutoorr的博客
09-20 2826
浅谈宽窄依赖及流水线优化
spark-宽窄依赖
DCHAO的博客
10-20 2619
这是rdd论文中的图，可见，宽窄依赖划分的依据并不是是否产生了网络io，而是一个分区的数据是否发生了拆分，注意，是拆分，合并不算
详解 Spark RDD 的宽窄依赖关系
weixin_43958974的博客
01-04 3476
前言 上期讲解了 Spark RDD 核心结构及其概念，本期详细讲一讲 Spark RDD 依赖关系的内容。 学习目标 RDD 的依赖关系 如何区分宽窄依赖 为何设计要宽窄依赖 RDD的依赖关系 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数据，那么只能对原有 RDD 进行转化操作，也就是在原来 RDD 基础上创建一个新的RDD。 那么，在整个任务的运算过程中，RDD 的每次转换都会生成一个新的 RDD，因此 RDD 们之间会产生前后依赖的关系.
Spark源码解读由浅入深 宽窄依赖篇
log1119的博客
08-18 830
本文基于Spark源码解读，从概述开始，由浅入深分析了宽窄依赖的实质，有利于加深读者对宽窄依赖的理解。
Spark---RDD依赖关系
weixin_47109902的博客
01-11 1130
如上述代码所示，words的形成依赖于lines，wordGroup依赖于words，wordToCount依赖于wordGroup。通过合理地设计RDD的转换和动作操作，可以避免不必要的Shuffle操作，提高计算效率。1.对DAG进行反向解析，遇到宽依赖（ShuffleDependency）就断开，遇到窄依赖就把当前的RDD加入到当前的阶段中。由于RDD中是不存储数据的，当计算发生错误的时候，很难重新计算丢失的数据分区。4.一个阶段中的最后一个RDD的分区个数就是Task的个数。
Spark 宽窄依赖 源码分析
loki的博客
01-12 211
1、最顶级类-org.apache.spark.Dependency 抽象类Dependency，继承了序列化类，定义了rdd方法。 Dependency 有两个实现类：抽象类NarrowDependency（窄依赖）和ShuffleDependency(宽依赖)。 2、窄依赖：NarrowDependency NarrowDependency也是抽象类，提供获取getParents 和 rdd 方法，构造方法需要传入rdd。rdd方法默认返回传入的rdd，getParents方法需要传入分区.
spark 的宽窄依赖
weixin_43548518的博客
12-04 118
RDD之间是有依赖关系的，这种依赖关系称之为Lineage（血统） 依赖也分为窄依赖和宽依赖 窄依赖：父RDD的一个分区最多被子的一个分区使用 宽依赖：父RDD的一个分区被子的多个分区使用 宽依赖一定会有shuffle,效率就会变低 ...
Spark宽窄依赖的划分规则
FlatTiger的博客
03-22 336
宽依赖 父RDD一个分区中的数据，交给子RDD一个分区来处理。 窄依赖 父RDD一个分区中的数据，交给子RDD多个分区来处理。 如何辨别宽依赖和窄依赖？ 一般来说，发生shuffle的操作都属于宽依赖。比如：sortBy()、reduceByKey()、groupByKey()、join()和调用rePartition()函数的任何操作。 ...
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄...ps:Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前
spark3.1.1和hadoop3.2.2对应的java依赖 pom文件
04-25
为了把spark2.4.X和hadoop2.7.3升级为spark3.1.1和hadoop3.2.2找了半天资源，最后还是自己手动编写了一个。已经在集群上测试可用
【SparkCore篇04】RDD函数传递和依赖关系1
08-04
在Spark中，RDD的函数传递和依赖关系是理解Spark计算模型的关键。 在本篇【SparkCore篇04】中，我们讨论了如何在RDD操作中处理函数传递以及与此相关的序列化问题。在Spark中，用户自定义的函数（如`Searcher`类中的...
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)
qq_65231448的博客
08-12 798
在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。可以通过游览器输入node1:4040查看监控页面（多个进程不会起冲突，具体监控页面的端口看上图spark版本下面第二行）找到spark上传的位置,cd 进到该目录，不进去也行，自己在前面加路径哈！完成后结果（退出终端，重新进来）
基于Spark AI的进行模型微调(DataWhale AI夏令营)
极限突破者的博客
08-11 456
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，本文参与活动是2024 DataWhale AI夏令营第四期大模型微调希望我的文章能帮助到你；😲在本文中，作者将详细讲解如何从零开始构建一个语文和英语高考选择题数据集，并且基于讯飞开发平台进行LLM微调训练一个模型，最后通过调用API进行测试。数据集准备：包括数据的读取、预处理、问题提取与答案提取。模型训练：如何利用现有的语言模型，进行定制化的模型训练。本地测试。
ElasticSearch文档数据关联关系处理
最新发布
qq_44027353的博客
08-15 621
再更新操作时，对象类型和嵌套对象nested方式有一个问题，因为根对象和嵌套对象本质上它们还是存在一个文档中的，每次更新时就可以需要重新索引整个文档。ES提供了父子关联关系，通过维护parent/child的关系，分离它们，使父文档和子文档是两个独立的文档，更新其中一个文档不会影响另一个文档。创建子文档时，必须通过routing指定父文档id，保证父子文档在一个shard中，提高join查询性能。user字段如果保存的是一个对象数组，在搜索时添加两个查询条件，数组中两个对象分别满足一个条件。
软考高级第四版备考---第39天（数据管理）
u013136284的专栏
08-12 930
5.2数据安全管理：数据安全管理是在数据安全标准与策略的指导下，通过对数据访问的授权、分类分级的控制、监控数据的访问等进行数据安全的管理工作，满足数据安全的业务需要和监管需求，实现组织内部对数据生存周期的数据安全管理。6.4数据质量提升：数据质量提升是对数据质量分析的结果，制定、实施数据质量改进方案，包括错误数据更正、业务流程优化、应用系统问题修复等，并制定数据质量问题的预防方案，确保数据质量改进的成果得到有效保持。
spark 依赖关系宽依赖、窄依赖
12-20
Spark依赖关系包括宽依赖和窄依赖。宽依赖是指一个父RDD的一个分区可能被多个子RDD的分区所依赖，而窄依赖则是指一个父RDD的一个分区只会被一个子RDD的分区所依赖。 对于宽依赖，父RDD的每个分区会被多个子RDD的分区所使用，这种依赖会导致数据的shuffle操作，需要将父RDD的分区数据重新分配到子RDD的分区上，这样的依赖关系容易导致性能问题，因为shuffle操作会导致数据的大量传输和重新分配。 而窄依赖则是父RDD的每个分区只会被一个子RDD的分区所使用，这种依赖不需要数据的shuffle操作，因此性能上会有一定的优势。在Spark中，通过对依赖关系进行优化，可以提高作业的性能和效率。 总的来说，对于Spark的依赖关系，窄依赖的性能优势要大于宽依赖，因此在实际的开发中，应该尽可能地避免宽依赖的出现，结合合适的数据分区策略和依赖关系设计，来提高作业的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值