宽窄依赖影响的是什么？

最新推荐文章于 2023-07-08 14:35:38 发布
最新推荐文章于 2023-07-08 14:35:38 发布
阅读量202 收藏
点赞数
分类专栏： Spark 文章标签： 分布式 spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jin_Lemon/article/details/114628125
版权

影响的是stage。

A1 原因

因为stage的切割依据是RDD之间的宽窄依赖。

stage的切割规则：从后往前，遇到宽依赖就切割stage。

A2 图解


从图中可以看出

  1. stage中引入DAG（有向无环图，指定执行顺序ABCDEFG）
  2. A->B是宽依赖，F->G是宽依赖，stage的切割从A和F
  3. join有宽有窄
  4. stage中串并同存在

A3 问题

stage详解

CoreDao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2145
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
Scala | 宽窄依赖 | 资源调度与任务调度 | 共享变量 | SparkShuffle | 内存管理
liujiesxs的博客
08-16 656
Spark
spark-宽窄依赖
DCHAO的博客
10-20 2569
这是rdd论文中的图，可见，宽窄依赖划分的依据并不是是否产生了网络io，而是一个分区的数据是否发生了拆分，注意，是拆分，合并不算
什么是宽窄依赖，及特殊join算子，join时何时产生shuffle，何时不产生shuffle
孙大迪迪的博客
11-11 3824
1、 什么是宽窄依赖， 宽依赖： 发生shuffle时，一定会产生宽依赖，宽依赖是一个RDD中的一个Partition被多个子Partition所依赖（一个父亲多有儿子），也就是说每一个父RDD的Partition中的数据，都可能传输一部分到下一个RDD的多个partition中，此时一定会发生shuffle 窄依赖： 一个RDD中的一个 Partition最多 被一个 子 Partition所依...
Spark宽窄依赖详解
热门推荐
modefrog的博客
03-16 2万+
1.宽窄依赖 图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。例如GroupByKey，reduceByKey，join，sortByKey等操作。图右边是窄依赖，父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号...
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖： 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：...
面向NGN宽窄带综合接入设备的理想与现实
03-04
面向NGN（Next Generation Network，下一代网络）的宽窄带综合接入设备是现代通信网络发展的重要组成部分，旨在提供高效、多样化的服务。该类设备的主要目标是通过单一平台整合话音、数据、专线等多种业务接入，同时...
Si（111）衬底上外延ZnO薄膜的温度依赖性光致发光
04-07
通过PLD在具有MgO / TiN缓冲层的Si（111）衬底上生长高质量的外延ZnO膜。 XRD和HRTEM证实了良好的质量。 研究了在83 K至303 K温度范围内的PL特性。将激子以及相关的声子复制品与PL... XA在83 K处的峰宽窄至18.7 meV。
整站宽窄自适应，头部有微博微信功能，显示促销的剩余时间，首页的团购，有节省，已售出， 剩余时间等功能，一目了然购物流程.rar
08-05
首先，"整站宽窄自适应"这一特点表明这个网站模板是响应式的，能够自动调整布局以适应不同设备的屏幕尺寸，无论是电脑、平板还是手机，用户都能获得良好的浏览体验。这主要依赖于CSS3中的媒体查询（Media Queries）...
大叔的大数据面试题.pdf
06-22
5. DAGScheduler：负责把 Spark 作业转换成 Stage 的 DAG（Directed Acyclic Graph 有向无环图），根据宽窄依赖切分 Stage，然后把 Stage 封装成 TaskSet 的形式发送个 TaskScheduler；同时 DAGScheduler 还会处理...
Spark07： 宽窄依赖、Stage的划分
anglemanyi的博客
02-01 1092
也就是说，每一个父RDD的partition中的数据都可能会传输一部分到下一个RDD的每个partition中。一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。（2）再看下面，RDD G到RDD F，产生了宽依赖，所以RDD F属于一个Stage，因为RDD F和 RDD C、D、E 这几个RDD没有产生宽依赖，都是窄依赖，所以他们属于一个Stage。
宽依赖与窄依赖
disgocloser的博客
07-08 450
窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition，。
宽依赖和窄依赖_Spark --【宽依赖和窄依赖】
weixin_34304211的博客
02-12 2816
1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...
Spark中宽依赖和窄依赖的区别
qq_38274166的博客
12-30 9594
一、什么是宽依赖、窄依赖 Spark中RDD的高效与DAG（有向无环图）有着莫大的关系，在DAG调度中我们需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分为宽依赖和窄依赖。那么到底什么是宽依赖和窄依赖的？ 1、宽依赖：是指1个父RDD分区对应多个子RDD的分区 2、窄依赖：是指一个或多个父RDD分区对应一个子RDD分区 简单的说就...
宽依赖和窄依赖_Spark----RDD宽窄依赖及Stage划分
weixin_30495795的博客
12-30 950
1.术语解释：Master(Standalone):资源管理的主节点（进程）Cluster Manager：在集群上获取资源的外部服务（例如standalone，Mesos，Yarn）Worker Node(standalone):资源管理的从节点（进程）或者说管理本机资源的进程Application：基于Spark的用户程序，包含了Driver程序和运行在集群上的executor程序Driver...
Spark的宽窄依赖
Buutoorr的博客
09-20 2813
浅谈宽窄依赖及流水线优化
spark血统--宽窄依赖（史上最简单的解释）
weixin_38629422的博客
01-20 522
Wide Dependencies （宽依赖）：是指子RDD的分区依赖于父RDD的多个分区或所有分区（子rdd和父rdd的关系是一对多的关系） Narrow Dependencies（窄依赖）：是指父RDD的每一个分区最多被一个子RDD的分区所用（一个子rdd和父rdd的关系理想情况下是一对一） ...
Spark RDD 宽窄依赖——顿悟篇
weixin_44519468的博客
05-16 553
1.宽窄依赖 ●两种依赖关系类型 RDD和它依赖的父RDD的关系有两种不同的类型，即 ·宽依赖(wide dependency/shuffle dependency) ·窄依赖(narrow dependency) ●图解 ●如何区分宽窄依赖 窄依赖:父RDD的一个分区只会被子RDD的一个分区依赖 宽依赖:父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle) 2.为什么要设计宽窄依赖 2.1对于窄依赖 Spark可以并行计算 如果有一个分区数据丢失，只需要从父RDD的对应1个分区重新计
Spark------------宽窄依赖
mono的博客
04-21 3599
窄依赖 窄依赖（NarrowDependency） 官方解释:“Base class for dependncies where each partition of the child RDD depends on a small number of partitions of the parent RDD. Narrow dependencies allow for pipelined execution.” 中文意思：“如果新生成的 child RDD 中的每个分区都依赖parent RDD 中的一
spark划分stage的规则
最新发布
09-16
### 回答1： spark的stage划分规则主要是根据计算的数据量、shuffle操作和按照安全策略来进行划分的。一般来说，当shuffle操作发生时，spark会自动将shuffle的操作划分为一个stage，而且在stage之间进行安全检查，以确保每个stage都可以独立运行。 ### 回答2： Spark划分stage的规则是基于RDD之间的依赖关系。一个stage是由一组可同时计算的任务组成的，这些任务可以并行执行。具体来说，Spark将一个job的所有RDD分为多个stage，并按照以下规则划分： 1. 窄依赖（Narrow Dependency）：如果一个RDD的所有分区只依赖于另一个RDD的一个或多个分区，那么这个依赖称为窄依赖。这种情况下，Spark将这些RDD分区与依赖的RDD分区放在同一个stage中。在执行时，无需在不同节点间进行数据传输，因为依赖关系已经由前一个stage处理过。 2. 宽依赖（Wide Dependency）：如果一个RDD的分区依赖于多个RDD的分区，那么这个依赖称为宽依赖。这种情况下，Spark会将它们的计算划分到不同的stage中。在执行时，需要进行数据传输和shuffle操作，将数据从一个stage传递到下一个stage。 3. 数据本地性（Data Locality）：Spark还会考虑数据本地性来划分stage。它会尽量将RDD的计算任务分配到与数据所在位置相同的节点上，以减少数据传输的开销。 总体来说，Spark根据RDD之间的依赖关系划分stage，窄依赖的RDD会在同一个stage中计算，而宽依赖的RDD会在不同的stage中计算。通过这种划分方式，Spark可以有效地利用并行计算，并且尽量减少数据传输和shuffle操作的开销，提高计算性能。 ### 回答3： Spark划分Stage的规则主要基于宽窄依赖关系。依赖关系指的是RDD之间的血缘关系，即一个RDD依赖于其他的RDD。Spark会根据这种依赖关系将任务划分为不同的Stage，其中每个Stage都包含一组可以并行执行的任务。 1. 窄依赖：当一个RDD的每一个partition只依赖于一个父RDD的一个或多个partition时，就称为窄依赖。这种情况下，Spark会尽量将窄依赖的操作合并在一个Stage中执行，以减少数据的传输和Shuffle操作。 2. 宽依赖：当一个RDD的每一个partition依赖于父RDD的多个partition时，就称为宽依赖。这种情况下，Spark会将它们划分到不同的Stage中执行。 3. Shuffle依赖：当一个RDD的某一个partition需要数据从其他partition进行整合时，就称为Shuffle依赖。Shuffle操作是比较耗时的，因此Spark会将具有Shuffle依赖的任务划分到不同的Stage中，以便进行并行处理。 4. 任务颗粒度：Spark还根据任务的颗粒度将Stage进行分割。一个Stage可以包含多个任务，而每个任务处理一个partition的数据。Spark会根据数据的分区情况和各个算子之间的依赖来调整任务颗粒度，以达到最优的执行性能。 总结来说，Spark划分Stage的规则主要包括依赖关系的窄宽划分和Shuffle操作的划分。通过合理划分Stage，可以充分发挥并行处理的优势，提高Spark应用的执行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CoreDao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值