图解Spark的task是怎么分发到各节点上并执行的

最新推荐文章于 2022-07-07 20:08:46 发布
最新推荐文章于 2022-07-07 20:08:46 发布
阅读量2.2k 收藏 5
点赞数 2
分类专栏： 大数据 图解spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a799581229/article/details/107147681
版权

假设此时已经构建好DAG划分好stage，接着就是要分发task了。
当运行submitTask时，有如下的过程：

在这里插入图片描述
上图可以看到，每次都会新建一个专门的taskManager，都运行ok后就会消失，并不是独立持续存在的一个角色。
reviveOffers具体做什么的呢？看一下
在这里插入图片描述

  • 可以看到reciveOffer主要是做worker资源分配的。
  • workerOffer列表一般需要做随机处理，避免一直分给同一个
  • 各机器上的CPU核数在分配的考虑范围之内。
  • spark每次可能会有多个TaskSetManager提交到rootPool中， 此时会根据FIO做分配， 先给抵押给TaskSetManager做worker分配，再给第二个分配。

看一下之后做了什么：
在这里插入图片描述

可以看到经过分配后， 各task都绑定到了对应的worker上，生成一个列表，很明显后面就会的、根据这个列表，进行task的发送。

看一下具体的资源的分配过程在做什么：

最低0.47元/天 解锁文章
DrawnBreak
关注
专栏目录
spark怎么分配资源
zhou12314的专栏
10-28 1308
spark分配资源概述 为啥要研究spark资源分配 spark中最基本和最有效率的优化方式就是给spark程序分配更多的资源，所以这次讲如何更合适的给你的spark程序分配资源 spark分配资源主要调整哪一些资源 /home/zhou/spark/bin/spark-submit\ --classcom.zhou12314.TestDemo\ --num-executors...
spark下的Task分发
m0_48187193的博客
06-21 266
spark下的Task分发 文章目录spark下的Task分发前言一、Inbox类1.1 process方法。1.2 post方法。二、Dispatcher类2.1 构造器与成员变量2.2 postMessage方法2.3 MessageLoop方法三. outBox类3.1主要成员变量3.2主要的内部类3.2send方法3.2drainOutbox方法四. CoarseGrainedExecutorBackend3.1 onStart()方法3.2 receive方法五.CoarseGrained
spark任务分配----TaskSchedulerImpl源码解析 TaskSchedulerImpl
08-13 336
TaskSchedulerImpl 上一篇讲到DAGScheduler根据shuffle依赖对作业的整个计算链划分成多个stage之后，就开始提交最后一个ResultStage，而由于stage之间的依赖关系，实际上最终是循着计算链从上到下依次提交stage的。每提交一个stage，就会将这个stage分成多个Task，并且会计算每个Task的偏向位置，将RDD和ShuffleDependency，TaskMetrics等对象序列化用于远程传输，最后把一个stage的所有Task包装成一个任务集，提交给T.
spark任务在yarn中的资源分配
welcome to zdsg's csdn
11-02 1018
yarn中spark任务的资源分配 监控页面: master://8088 所占内存总大小: 参数如下图: 实际情况中，应用程序申请到的资源量一定大于所申请的资源量 例如：spark driver指定内存 2g，executor指定内存 2g*3 合计应该是8192M内存 但实际上分配的内存或许为 12288M 等，为何会出现这样的情况？ 因为由JVM自身的开销，并且还涉及到一个名词——规整化因子 并且yarn的不同任务调度模式下的资源分配总理的计算方式是不同的 规整化因子关于内存的默认配置: ya
Spark新闻项目数据采集/存储/分发完整流程测试
努力的凹凸曼的博客
06-24 534
（一）idea工具开发数据生成模拟程序 　1.在idea开发工具中构建weblogs项目（Java项目），然后设置sources目录。 　　在java目录下新建ReadWrite类 package main.java; import java.io.*; public class ReadWrite { static String readFileNam...
图解Spark任务提交执行流程总结
伟红-long-term
08-30 929
一、Spark基于Standalone任务提交 根据Driver在集群中的位置分为两种模式： 一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上 提交命令 ./spark-submit --master spark://node1:70...
揭秘Spark作业全生命周期：Driver与DAG/TaskScheduler交互图解
3. Master将任务分配给Executor，Executor执行计算任务并将结果返回给Driver或接收任务的其他节点。 图示化的作业生命周期流程清晰地展示了这个交互过程，它展示了从Driver程序启动、与Master连接、资源分配、任务...
spark执行流程图解
最新发布
06-23
6. **Execution (Task Execution)**: Worker 节点上运行 Executor，每个 Executor 又会进一步拆分任务到多个线程池 (Executor Tasks) 进行计算。 7. **Output Writing (Output Writing)**: 计算完成后，结果会被...
初识 Spark - 7000字+15张图解，学习 Spark 入门基础知识
欢迎关注数据类微信公众号：数人之道，分享数据知识、干货、资讯
02-23 924
欢迎关注「数人之道」公众号 获取更多数据知识、干货、资讯！ 延伸阅读： 初识 Spark | 带你理解 Spark 中的核心抽象概念：RDDSpark RDD 的概念、操作、依赖关系https://mp.weixin.qq.com/s?__biz=MzkwNTI4MDEzOQ==&mid=2247485795&idx=1&sn=5ec304fde1d31f6e269d8ddcb07e8c1c&chksm=c0fb6687f78cef91bd2b81fb5602e...
Spark Executor 执行Task的过程
qq_37163925的博客
06-02 970
前言 前面分析了Task Scheduler划分Task的过程，Task在Task SchedulerImpl类中被包装成stageTaskSets，然后由DriverEndpoint发送，最后由CoarseGrainedSchedulerBackend序列化并启动Executor。现在开始分析Executor执行任务的过程。 正文 1、Executor接收到LunchTask消息 CoarseGrainedSchedulerBackend发送一条LunchTask消息后(executorData.exe
SparkCore — Task分配算法
zlx_code的专栏
09-02 763
Task分配算法   接着上一篇的Task最佳位置，我们分析了submitMissingTasks()方法，其中里面比较重要的：一个是task的最佳位置计算，另一个就是提交TaskSet给TaskScheduler。下面分析提交到TaskScheduler后的TaskSet中的task是如何被分配到Executor上去的。   默认情况下，standalone模式，是使用的TaskSchedu...
Spark发送Task执行流程
weixin_42847508的博客
11-21 1071
Driver端发送任务 1.TaskSchedulerImpl调用submitTask方法 override def submitTasks(taskSet: TaskSet): Unit = { val tasks = taskSet.tasks logInfo("Adding task set " + taskSet.id + " with " + tasks.length + " tasks") this.synchronized { val manager.
Spark TaskSchduler任务分配源码解析
u013174239的博客
05-18 504
在DAGSchduler.scala中，封装taskset，使用TaskSchduler提交了taskset，下面通过源码解析，TaskSchduler对task分配到executor和本地化级别。TaskSchdulerImpl.scala/** * taskSchduler 提交taskset的入口 */ override def submitTasks(taskSet: ...
spark之(executor执行task原理分析)
w5201314ws6123的博客
03-14 1213
1>taskscheduler将taskset分发到对应的executor上 2>executor调用executor.launchtask方法 3>在launchtask方法中会创建taskrunner来封装这些任务,将这些taskruanner放入到threadpool中， 4>最终调用taskruanner方法中的task.runtask方法执行任务 ...
spark学习-Task调度算法
心行如一，无远弗届的博客
03-07 556
Task调度算法：对每个Task，依据本地化算法从最好的一种本地化级别开始遍历，直到task被分配到executor执行。1.PROCESS_LOCAL，进程本地化，RDD的partition和task进入一个executor内，执行速度快。2.NODE_LOCAL，节点本地化，RDD的partition和task不在一个executor中，不在一个进程内，在一个worker上。3.NO_PREF...
spark源码(十三)excutor启动task原理剖析
weixin_37850264的博客
01-11 193
文章目录前言 前言 excutor反向注册，worker中为application启动的 executor，实际上是启动了这个 CoargeGrainedExecutorBackend进程, /** * 创建DriverEndpoint和DriverEndpointRef * */ override def start() { val properties = new ArrayBuffer[(String, String)] for ((key, value) &lt
linux指定节点运行任务,Task节点管理启动任务
weixin_42210038的博客
05-11 706
1. 代码执行流程1)TaskTracker的启动的时候会加载所有信息，包括利用RPC获得JobTracker 的RPC变量定义为jobClient；TaskTracker.run()方法会去循环向JobTracker心跳，在里面主要调用TaskTracker. offerService()方法；2)offerService()方法首先调用JobTracker....
Spark3.x入门到精通-阶段三(深度剖析spark处理数据全流程)
S1124654的博客
07-07 1555
Spark3.x入门到精通-阶段三(深度剖析spark处理数据全流程)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值