Spark(13) -- DAG的生成以及Shuffle的过程

最新推荐文章于 2023-09-02 17:12:24 发布
最新推荐文章于 2023-09-02 17:12:24 发布
阅读量431 收藏 1
点赞数
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108921616
版权

1. 什么是DAG

 DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就形成了 DAG，根据RDD之间依赖关系的不同将DAG划分成不同的Stage(调度阶段)。对于窄依赖， partition的转换处理在一个Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在 parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。
在这里插入图片描述

  • DAG的边界
    • 开始:通过SparkContext创建的RDD
    • 结束:触发Action，一旦触发Action就形成了一个完整的DAG
  • 一个job和一个DAG有什么样的关系？
    • 触发一个job形成一个DAG

注意:

  • 一个Spark应用中可以有一到多个DAG，取决于触发了多少次Action
  • 一个DAG中会有不同的阶段/stage，划分阶段/stage的依据就是宽依赖
  • 一个阶段/stage中可以有多个Task，一个分区对应一个Task

2. DAG划分Stage

在这里插入图片描述

  • 为什么要划分Stage? --并行计

了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
spark的RDD、DAG、shuffle等一些知识点的整合
KujyouRuri的博客
04-26 1700
RDD的依赖关系 RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖: 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用(子rdd当中一个分去里面的数据来源于父rdd当中一个分区。叫做窄依赖。实际上没有产生shuffle过程) 宽依赖 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition(子rdd当中一个分区里面的数据来源于父rdd当中好几个
spark-5 DAG图和stage
a3125504x的博客
08-05 652
DAG图和stage的划分DAGstage为什么要划分stage如何划分stagetaskSetstage和stage之间的联系 DAG DAG(Directed Acyclic Graph)叫做有向无环图（有方向，无闭环），在spark中用不表示数据的流向。原始的RDD经过一系列的转换之后会生成DAG 单词统计生成的DAG stage stage即spark任务的调度阶段 一个job会被拆分成多组Task，每组task组成一个stage 一个job对应多个stage stage分为2种类型 Shu
Spark中RDD的依赖和DAG的生成
qq_42456324的博客
04-28 1417
1、RDD之间的依赖类型 窄依赖(NorrawDependency) 父RDD的一个分区的数据,是给到子rdd的一个分区使用,这种依赖关系就是窄依赖。窄依赖指的是父RDD的一个分区,被子RDD的一个分区所依赖(一对一)。 map,flatMap,filter 都是窄依赖,union 也是窄依赖。 分为宽依赖(WideDependency) 父RDD的一个分区的数据,是给到子rdd的多个分区使用,那么就是宽依赖。 一旦有宽依赖,在这里会发生数据的shuffle,会切分stage(阶段)。 sor
DAG（有向无环图）的实现方法
最新发布
2301_79584199的博客
09-02 1434
DAG（有向无环图）的实现方法，DAG是寻找和筛选合适协变量的可视化方法，可以方便的筛选出所需的协变量
spark中dag的介绍
newchitu的博客
06-18 6116
目录 什么是DAG DAG 解决了什么问题 DAG 是怎么工作的 工作流程 注意点 DAG，全称 Directed Acyclic Graph， 中文为：有向无环图。 在 Spark 中， 使用 DAG 来描述我们的计算逻辑。 什么是DAG DAG 是一组顶点和边的组合。顶点代表了 RDD， 边代表了对 RDD 的一系列操作。 DAG Scheduler 会根据 RDD 的 t...
spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar
06-27
- DAG（有向无环图）：Spark作业的执行计划表示，任务会被分解为一系列DAG阶段。 2. Spark的主要组件： - Spark Core：Spark的基础模块，提供并行计算的基本功能，包括调度、内存管理、故障恢复等。 - Spark SQL...
Spark-2.4.5官网下载源码包
10-29
1. DAG（有向无环图）调度：Spark的工作方式基于DAG，它将任务分解为小的可执行单元——Task，然后进行调度和执行。 2. Resilient Distributed Datasets (RDDs)：Spark的基础数据抽象，是不可变的、分区的元素集合，...
spark-2.2.2安装流程
05-06
DAG Scheduler：实现将Spark作业分解成一到多个Stage，每个Stage根据RDD的Partition个数决定Task的个数，然后生成相应的Task set放到TaskScheduler中。 TaskScheduler：将任务（Task）分发给Executor执行。 Stage：...
spark-2.2.0.tgz源码
02-20
6. **Shuffle过程**：在Spark作业中，shuffle是一个重要的操作，它涉及重新组织数据以满足任务间的依赖。在Spark 2.2.0中，shuffle管理得到了优化，减少了网络传输和磁盘I/O，提高了性能。 7. **动态资源调度**：...
spark-2.2.1.tar.gz 源码
06-22
对于性能优化，可以通过调整executor数量、内存分配、shuffle策略等方式提高Spark应用的效率。 6. **社区支持**： Spark拥有活跃的社区，用户可以在Apache邮件列表、Stack Overflow和GitHub上获取帮助，参与讨论和...
dag-factory:从YAML配置文件动态生成Apache Airflow DAG
05-13
达工厂 dag-factory是一个用于从YAML配置文件动态生成 DAG的库。 安装 要安装dag-factory，请运行pip install dag-factory 。 它需要Python 3.6.0+和Apache Airflow 1.10+。 用法 在Airflow环境中安装dag-factory之后，有两个步骤来创建DAG。 首先，我们需要创建一个YAML配置文件。 例如： example_dag1 : default_args : owner : ' example_owner ' start_date : 2018-01-01 # or '2 days' end_date : 2018-01-05 retries : 1 retry_delay_sec : 300 schedule_interval : ' 0 3 *
Sprak中Shuffle的过程解析
Alex2311111的博客
09-17 482
Spark大会上，所有的演讲嘉宾都认为shuffle是最影响性能的地方，但是又无可奈何。之前去百度面试hadoop的时候，也被问到了这个问题，直接回答了不知道。这是我去美国之前的最后一篇，我捞到了最后一张船票。接下来的时间，我要好好准备出国的事情了，练习口语。这篇文章主要是沿着下面几个问题来开展：1、shuffle过程的划分？2、shuffle的中间结果如何存储？3、shuffle的数据如何拉取过来
python制作DAG图，生成邻接矩阵
weixin_44019225的博客
03-08 3328
主要方法是运用Top排序倒退回来，这里我考虑到节点和和边内容的一些关系，假设有n个节点，这里控制边的个数为[n-1,(n*(n-1)/2+1] from random import randint as rd import numpy as np def DataMake(): n=int(input("请输入设置的节点数：")) node=range(1,n+1) nod...
Spark的DAG的生成过程详解
LBJ_小松鼠的博客
01-25 4448
1. DAG详解 DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就形成了DAG，根据RDD之间依赖关系的不同将DAG划分成不同的Stage(调度阶段)。 对于窄依赖，partition的转换处理在一个Stage中完成计算。 对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。 DAG的边界: 开始:通过SparkContext创建的RDD 触发Action，一旦触发A
Spark_RDD之间的依赖关系&DAG的生成&shuffle过程
weixin_44449054的博客
03-02 659
标题依赖关系1.RDD的依赖2.窄依赖3.宽依赖4.Lineage（血统）DAG的生成什么是DAG？shuffle过程1.SortShuffleManager基本介绍2.Sort shuffle的bypass机制 依赖关系 1.RDD的依赖 两种不同的类型：窄依赖（narrow dependency）和宽依赖（wide dependency）。 2.窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 3.宽依赖 宽依赖指的是多个子RDD的Partition会
spark之DAG、Shuffle概述、框架核心概念、集群模式安装
Winyar的博客
07-21 755
DAG概念 概述 Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG。接下来以“Word Count”为例，详细描述这个DAG生成的实现过程。 Spark Scala版本的Word Count程序如下： 1： val file=sc.textFile(“hdfs://hadoop01:9000/hello1.txt”) 2：...
Spark DAG的生成
Running_Tiger的博客
03-06 1773
Spark DAG的生成DAG概念 DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就形成了DAG，根据RDD之间依赖关系的不同将DAG划分成不同的Stage(调度阶段)。对于窄依赖，partition的转换处理在一个Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖
34 Spark中任务处理的Stage划分和Task最佳位置算法
热门推荐
Hipparchus的博客
05-17 1万+
本节课的内容 1. Job Stage的划分算法 2. Task最佳计算位置算法
简化随机生成DAG(有向无环图)
taoxy3344的博客
11-11 3257
根据python随机生成DAG(有向无环图)一文,并且对其代码进行简化. n= 1000;m = min(5000,n**2); MAXL = 100000; node = shuffle(range(1000)); p1 = ranint(1,n-1); p2 = ranint(p1,n); x = node[p1-1]; y = node[p2-1]; l = ranint(MAXL); w ...
Spark源码深度解析：DAG与弹性分布式数据集RDD
"Spark源码分析" ...Spark源码分析涉及了分布式计算的基本概念、RDD模型、作业和阶段的划分、DAG表示、任务调度以及容错机制等多个层面。深入理解这些知识点对于优化Spark应用性能和开发自定义Spark组件至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值