Spark描述DAG的2种Task类型解析

最新推荐文章于 2024-06-27 19:23:04 发布
最新推荐文章于 2024-06-27 19:23:04 发布
阅读量3.3k 收藏 3
点赞数
分类专栏： spark 文章标签： spark shuffle DAG 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cymvp/article/details/53944523
版权
本文探讨Spark的两种Task类型：ShuffleMapTask和ResultTask。ShuffleMapTask负责处理Stage1和Stage2之间的shuffle操作，将数据写入磁盘作为shuffle文件；而ResultTask是最终的action执行者，读取shuffle数据并执行实际的处理函数。Spark通过封装RDD的iterator，使得上层代码无需关注数据存储细节，统一处理各种类型的RDD。
摘要由CSDN通过智能技术生成

Spark有2个类型的Task: ShuffleMapTask和ResultTask;

 

设想有:  Stage1  ----shuffle-------->  Stage2 -----shuffle------>  Stage3

 

Stage3就是一个ResultTask, 因为是最终的action的执行;

最低0.47元/天 解锁文章
美伊小公主的奶爸
关注
专栏目录
通俗易懂理解spark的DAG
SunnyRivers
05-15 1606
百度百科对DAG无回路有向图。Spark的DAG（有向无环图）是一个基本概念，在Spark执行模型中起着至关重要的作用。DAG是“定向的”，因为操作是按特定顺序执行的，而“非循环的”是因为执行计划中没有循环或循环。这意味着每个阶段都取决于前一阶段的完成情况，并且一个阶段中的每个任务都可以独立运行。在高层，DAG表示Spark作业的逻辑执行计划。提交Spark应用程序时，Spark会将应用程序代码中指定的高级操作（如transformation和action）转换为stage和task的DAG。
Spark DAG原理与代码实例讲解
程序员光剑
06-09 1317
Spark DAG原理与代码实例讲解 1. 背景介绍 Apache Spark是一个用于大数据处理的统一分析引擎，它提供了一种高效的数据处理模型,被广泛应用于各种大数据场景。Spark的核心设计理念是基于弹性分布式数据集(Resilient Distributed Dataset, R
DAG 任务调度实现以及优化
chupieju2138的博客
09-04 5342
DAG Task 任务调度算法 实现 github:https://github.com/smartxing/algorithm 1 有向图的构建 DAG dag = new DAG(); dag.addVertex("A"); dag.addVertex("B")...
spark 中 task 有几种类型
weixin_59295776的博客
12-22 658
Spark中的Task有2种类型： 1）result task类型，最后一个task； 2）shuffleMapTask类型，除了最后一个task都是此类型.
spark调度体系——task执行
最新发布
weixin_43839095的博客
06-27 320
executor收到LaunchTask消息后，先将消息解码成TaskDescription对象，再调用launchTask方法执行。runTask是抽象方法，具体实现是在子类ResultTask和ShuffleMapTask中。taskBinary反序列化成(rdd, func)，调用func方法返回结果。创建TaskRunner的线程包装类，用于执行task。Task是抽象类，run方法中是调用了runTask方法。ResultTask是结果task，最终是返回结果。
spark job， stage ，task介绍
qq_18219755的博客
06-09 220
spark 如何执行程序？ 首先看下spark 的部署图： 节点类型有： master 节点： 常驻master进程，负责管理全部worker节点。 worker 节点： 常驻worker进程，负责管理executor 并与master节点通信。 dirvier：官方解释为： The process running the main() function of the applic...
spark六 DAG和task
04-02 439
task的生成: 首先需要stage划分,依据划分的stage来生成task task的数量和分区的数量和sttage的数量是有直接关系的 在发送shuffle的过程中,会产生shuffle write 和shuffle reade shuffle write : 发生在shuf/fle之前,把需要shuffle的数据写到磁盘,保证了数据的可靠性 为什么在发送shuffle的时候,需要把数...
Spark源码分析之ResultTask处理
大数据技术分享
12-08 659
Spark源码分析之ResultTask处理 更多资源 SPARK 源码分析技术分享(bilibilid视频汇总套装视频): https://www.bilibili.com/video/av37442139/ github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.csdn...
Spark之基本概念篇(RDD ,DAG,Task,TaskSet ,Stage,Shuffer,Job,dependency,Application,SparkContext)(3)
桂林算啦粉的博客
09-30 1285
一 什么是RDD RDD的全称是 Resilient Distributed Dataset ,是一个弹性的 ,可复原的分布式数据集 .是 Spark中最基本的抽象,是一个不可变的 /有多个分区的 / 可以并行计算的集合 . RDD中并不装真正要计算的数据 ,而装的是描述信息 ,描述以后从哪里读取数据 ,调用了什么方法 ,传入了什么函数 ,以及依赖关系等 . 二 RDD的特点 1 有一些列连续的分区 :分区编号从0开始,分区的数量决定了对应阶段Task的并行度 2 有一个函...
DagScheduler 和 TaskScheduler
xm_QUQ的博客
08-05 494
DagScheduler 和 TaskScheduler 的任务交接   spark 调度器分为两个部分， 一个是 DagScheduler， 一个是 TaskScheduler，   DagScheduler 主要是用来把一个 Job 根据宽依赖划分为多个Stage（阶段），   对于划分出来的每个 stage 都抽象为一个 TaskSet任务集 交给TaskScheduler 来进行进一步的...
Spark调度管理【DAGScheduler，TaskScheduler】
踏雪无痕
04-29 757
一.DAGScheduler SparkContext在初始化时，创建了DAG调度和Task调度来负责RDD Action操作的调度执行。 DAGScheduler负责Spark的最高级别的任务调度，调度的粒度是Stage，它为每个Job的所有Stage计算一个有向无环图，控制它们的并发，并找到一个最佳路径来执行它们。具体的执行过程是将Stage下的Task任务集提交给TaskScheduler对...
spark2.3源码分析之ResultTask读取并处理shuffle file的流程（二）
lzf的博客
07-03 933
概述 大部分map task与reduce task的执行是在不同的节点上，reduce执行时需要跨节点去拉取其它节点上的ShuffleMapTask结果，那么对集群内部的网络资源消耗会很严重。我们希望最大化地减少不必要的消耗, 于是对Shuffle过程的期望有： 完整地从map task端拉取数据到reduce 端。 在跨节点拉取数据时，尽可能地减少对带宽的不必要消耗。 减少磁盘I...
spark work ResultTask 源码分析
gaoshui87的专栏
10-10 325
spark work task 源码分析rdd在各个 CoarseGrainedExecutorBackend 进程中，经典的业务执行过程private[spark] class ResultTask[T, U]( stageId: Int, stageAttemptId: Int, taskBinary: Broadcast[Array[Byte]], partition: Partition,
spark2.3源码分析之ResultTask读取并处理shuffle file的流程
lzf的博客
06-23 709
ResultTask 概述 ResultTask 执行当前分区的计算，首先从ShuffleMapTask拿到当前partition的数据，会从所有的ShuffleMapTask都拿一遍当前的partition数据。最后合并所有的ResultTask输出结果，返回给driver application。 reducer task有几个特点: reducer的数量等于partition的数量. 每个reducer task只处理一个partition的数据量. 如果shuffleMapTask的数
airflow设置dag并行运行task个数
liuhongwei_study的专栏
07-08 2775
concurrency是设置设置dag并行运行task的个数，但是 default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2020,9,13),#任务启动时间点，须小于实际执行的时间的下一个间隔 'email': ['airflow@example.com'], 'email_on_failure': False, 'email_on_re
Spark 之 Task 原理分析
py_tamir的博客
06-26 581
目录 1、接收请求，准备操作 2、处理阶段 ShuffleMapTask 3、处理阶段 ResultTask 1、接收请求，准备操作 Executor 接收到了LaunchTask的请求后，在TaskRunner中会做一些准备工作，例如：反序列化Task，因为Task发送过来时，是被序列化的。然后通过网络拉取需要的文件，jar包等。在准备工作之后，运行task的run（）方法，该方法最核心...
Spark源码阅读笔记：Spark的Task
JoeYangY的专栏
11-23 1808
前文稍微分析了一下standalone模式中几个集群核心角色的代码，这将是后面分析下去的基础。本文是前文的进一步补充。 TASK的产生     因为笔者习惯带着目的跟着线索走，所以对于shuffle过程实际上是在不同的task之间传递数据的过程，要找到相关的代码和流程，我们就先把着眼点定在task这端，先分析一下Spark中的task，再来看shuffle。     前文有提过，最终在exe
【Spark系列4】Task的执行
qq_33592535的博客
01-29 1601
TaskScheduler根据调度的顺序，依次调度TaskSetManager中的TaskSet，对于每个TaskSet遍历所有本地化级别，从小到大尝试在Executor分配Task，根据每个WorkerOffer的executorId和hostname，使用TaskSetManager判断在当前本地化级别中，是否可以在该Executor或Host上分配任务，直到该本地化级别无法分配Task，再将本地化级别提高一级再次尝分配Task。这些映射关系的建立，时根据生成Task时Task运行的最佳位置确定的。
Spark源码深度解析：DAG模型与性能优化
Spark源码阅读笔记深入探讨了Apache Spark这一强大的数据处理计算框架，它由伯克利AMP实验室开发，旨在简化并行程序的开发与集群部署。Spark支持多种编程语言接口，如Java、Scala、Python和R，以适应不同开发者的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值