Spark RDD的Action执行过程——TaskScheduler在executor上启动task的分析

最新推荐文章于 2022-07-02 17:55:11 发布
最新推荐文章于 2022-07-02 17:55:11 发布
阅读量318 收藏 2
点赞数 1
分类专栏： Spark 文章标签： Spark Spark源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41321219/article/details/96197414
版权

DAGScheduler中在submitMissingTasks方法中调用了TaskScheduler的submitTasks方法,作为入口我们开始分析TaskScheduler的实现类TaskSchedulerImpl
在这里插入图片描述
看一下传入的TaskSet的结构在这里插入图片描述
每一个Stage有可能会产生多个Tasks,Tasks数量由Stage的分区数决定的

taskSet级别的信息管理
在这里插入图片描述
在这里插入图片描述
reviveOffers方法
在这里插入图片描述
backend接收到ReviveOffers消息
在这里插入图片描述
调用backend的makeOffers()方法
在这里插入图片描述
分析resourceOffersOffer方法关键部分(这个方法主要对executor资源进行分配)
主要是以task(不是taskSet)为单位,对task在executor上进行分配(优先为本地化级别高的executor分配task)
在这里插入图片描述
在这里插入图片描述
分析launchTasks方法
在指定的分配好的executor上launch对应task
在这里插入图片描述

Tom_coding
关注
专栏目录
白话Spark——Executor模块与RDD详解
Handoking的博客【学无止境】
07-18 1615
1.RDD是什么 这个定义我看了几本书一堆博客后觉得这样写会更好理解也更贴切：RDD(弹性分布式数据集)提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，不能直接修改。每个RDD可以分成多个分区，每个分区就是一个数据集片段。简单说，RDD就是一种数据抽象。 2.怎么创建RDD 可以用内存中已经有的数据集，也可以用外部数据源。之后通过RDD的转换，从父RDD中衍生出新的RDD，...
Spark技术内幕读书笔记：Spark核心——DAGScheduler任务切分调度与TaskScheduler任务执行调度计算过程详解
Big_data_implicit_
01-29 1050
————Spark技术内幕读书笔记———— Scheduler任务调度充分体现了与MapReduce完全不同的设计思想。 任务调度——多个DAG与多个Task之间如何分配计算资源！ Spark对于DAG与Task的实现以及不同执行阶段的划分和任务的提交执行，充分体现了其设计的优雅与高效！ ————第四章 Scheduler模块详解———— 任务调度整体架构 将用户提交的计算任务按照DAG划分不同的阶段的计算任务提交到集群进行最终的计算 ...
spark DAGScheduler、TaskSchedule、Executor执行task源码分析
weixin_34379433的博客
03-26 259
摘要 spark的调度一直是我想搞清楚的东西，以及有向无环图的生成过程、task的调度、rdd的延迟执行是怎么发生的和如何完成的，还要就是RDD的compute都是在executor的哪个阶段调用和执行我们定义的函数的。这些都非常的基础和困难。花一段时间终于弄白了其中的奥秘。总结起来，以便以后继续完善。spark的调度分为两级调度：DAGSchedule和TaskSchedule。DAGSched...
Spark RDD的Action执行过程——Executor对task的执行原理分析
qq_41321219的博客
07-17 295
当master在接收到RegisterApplication消息后会向worker发送LaunchDriver和LaunchExecutor消息来分别启动Driver和Executor。实际上这里启动Executor是指的启动CoarseGrainedExecutorBackend进程，而Executor只是CoarseGrainedExecutorBackend的内部的对象。 下面是backen...
spark之(executor执行task原理分析)
w5201314ws6123的博客
03-14 1202
1>taskscheduler将taskset分发到对应的executor上 2>executor调用executor.launchtask方法 3>在launchtask方法中会创建taskrunner来封装这些任务,将这些taskruanner放入到threadpool中， 4>最终调用taskruanner方法中的task.runtask方法执行任务 ...
Spark源码解读之Executor以及Task工作原理剖析
不清不慎的博客
08-03 917
前一篇文章中主要讲述了TaskScheduler发送TaskSet中的task到executor中执行，那么，本篇文章接着上文的讲述看看executor的工作原理以及task是如何执行的。 首先来看看executor的工作流程： executor会启动一个后台进程CoarseGrainedExecutorBackend，首先它会向driver发送RegisterExecutor消息注册exec...
Spark(2.1.2)：DAGScheduler、TaskScheduler源码跟踪分析
Jodness' Blogs
08-03 842
Spark调度的基本概念 Task：任务，单个分区数据集上的最小处理流程单元 TaskSet：任务集，由一组关联的，但互相之间没有shuffle依赖关系的任务组成的集合 Stage：步骤，一个任务集的调度阶段 Job：作业，由一个RDD Action操作生成的一个或多个Stage组成的一次计算作业 Application：应用程序，由一个或多个Job组成 在SparkContext中...
Spark Task执行流程源码分析系列之四: 任务启动&运行&结果处理
进击的数据小白
11-16 963
上面几节我们分析了Task的构建和调度，本节我们将聚焦在Task的执行，会涉及到Task是如何启动起来的，具体的不同任务是如何执行的，执行得到的结果是如何处理的。 Task启动 首先我们来看下Task是如何启动的，Driver发送lauchTask消息给Executor，Executor的常驻进程CoarseGrainedExecutorBackend接收到Driver发送来的LaunchTask消息后，会解码任务信息，然后由Executor开始执行任务，Executor会对Task进行封装为TaskR.
Spark之基本概念篇(RDD ,DAG,Task,TaskSet ,Stage,Shuffer,Job,dependency,Application,SparkContext)(3)
桂林算啦粉的博客
09-30 1275
一 什么是RDD RDD的全称是 Resilient Distributed Dataset ,是一个弹性的 ,可复原的分布式数据集 .是 Spark中最基本的抽象,是一个不可变的 /有多个分区的 / 可以并行计算的集合 . RDD中并不装真正要计算的数据 ,而装的是描述信息 ,描述以后从哪里读取数据 ,调用了什么方法 ,传入了什么函数 ,以及依赖关系等 . 二 RDD的特点 1 有一些列连续的分区 :分区编号从0开始,分区的数量决定了对应阶段Task的并行度 2 有一个函...
Spark任务执行流程与运行架构
qq_25073261的博客
08-13 786
1.Spark的执行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； (2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； (3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task
【温故而知新】hdfs file、RDD、Pratition、task、core、executor关系整理
大壮的博客
03-26 283
一.spark中Partition，Task，core，Executor的个数决定因素和关系： 1.RDD 中有多个 Partition，Partition 是 Spark RDD 计算的最小单元，决定了计算的并发度。分区数如果远小于集群可用的 CPU 数，不利于发挥 Spark 的性能，还容易导致数据倾斜等问题。 分区数如果远大于集群可用的 CPU 数，会导致资源分配的时间过长，从而影响性能。...
定时任务
weixin_44890199的博客
11-15 275
** 定时任务实现的两种方式 ** 1.xml配置方式 <!-- 自动调度需要扫描的包 --> <context:component-scan base-package="com.thinkgem.jeesite.modules.api.web.khtx,com.thinkgem.jeesite.modules.bfrw.web"/> <!-- 1...
Spark源码分析之七：Task运行（一）
weixin_33700350的博客
02-24 225
在Task调度相关的两篇文章《Spark源码分析之五：Task调度（一）》与《Spark源码分析之六：Task调度（二）》中，我们大致了解了Task调度相关的主要逻辑，并且在Task调度逻辑的最后，CoarseGrainedSchedulerBackend的内部类DriverEndpoint中的makeOffers()方法的最后，我们通...
Spark2.3.2源码解析： 10. 调度系统 Task任务提交 （三） TaskScheduler : Executor 任务提交
张伯毅的专栏
12-29 7364
架构图：     代码提交时序图 Standalone模式提交运行流程图：     首先写一个WordCount代码（这个代码，为了观察多个stage操作，我写了两个reducebykey 函数） 源代码：   直接执行代码，查看spark执行程序时，将代码划分stage生成的DAG流程图   可知： WordCount 在stage划分的时...
Spark Shuffle模块——Suffle Read过程分析
weixin_34221775的博客
12-21 243
在阅读本文之前，请先阅读Spark Sort Based Shuffle内存分析 Spark Shuffle Read调用栈如下： 1. org.apache.spark.rdd.ShuffledRDD#compute() 2. org.apache.spark.shuffle.ShuffleManager#getReader()...
Spark driver获取每个task返回值方法
LINBE_blazers的博客
03-19 896
在Spark计算中，如果想要在driver端获取executor执行task返回的结果，在实际的操作中可能会想到2种方法：一是将每条数据打上标签输出到结果表中，再通过sql执行查询操作；二是通过Spark自定义累加器，就可以在executor端将结果累加到driver端使用，不过这种方式的效率也不高，具体的实现也很麻烦。 下面介绍一种常用的简便操作方法： 其实，这种操作我们最先想到的应该是co...
Spark编程基础期末复习
涛涛不淘
07-02 1万+
spark编程基础期末复习
spark源码学习（八）--- executor启动task分析
colossus——bigdata的专栏
02-21 1951
本文基于spark1.6。 上一篇文章提到TaskScheduler将task与executor分配好以后，交给executor来运行task，本文分析executor运行task。首先，在收到消息后，executor向driver注册，这部分的注册是由CoarseGrainedExecutorBackend而不是executor类来完成的。首先来看该类的初始化： override def
关于Spring 任务调度之task:scheduler与task:executor配置的详解
热门推荐
张小洛的BOLG
03-21 3万+
其实就是Spring定时器中配置文件中一些配置信息，由于笔者自己是头一次使用，有些配置详细不太明白，随即研究了一番，于是想记录一下，有需要的小伙伴可以参考，也方便日后自己查阅。 首先，创建一个仅仅包含定时器配置的Spring配置文件：spring-timer.xml。以下均为配置信息：1、在配置文件头部加入定时器的命名空间---------- <?xml version="1.0" en...
Spark源码分析：Task运行期函数调用与数据流程
这个话题对于理解Spark的工作机制至关重要，因为Task的执行过程涉及到数据的获取、处理和返回。以下是关于Task运行过程中的关键组件和流程的详细说明： 1. SparkContext初始化： Spark应用的核心是SparkContext，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值