Spark-Job调度流程

已于 2023-06-28 11:37:12 修改
阅读量268 收藏
点赞数
分类专栏： 数据计算与分析组件 文章标签： 大数据 spark
于 2020-06-18 18:54:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37536020/article/details/106841011
版权

目录

宏观流程

Driver Program

SparkContext对象

Worker Node

Worker进程

Task任务

cluster manager 集群管理器

微观流程

RDD Objects

DAGScheduler

TaskScheduler

SchedulerBackend

代码实现

org.apache.spark.scheduler.DAGScheduler  

org.apache.spark.scheduler.TaskScheduler

org.apache.spark.scheduler.SchedulerBackend

AKKA

Spark并行度

宏观流程

一个Spark程序的运行由Driver Program、SparkContext对象、WorkNode、Work进程、Executor执行器、Task任务和Cluster Manager集群管理器(Master结点)七个组件协同工作

Driver Program

用户编写的Spark程序称为Driver Program。每个Driver程序包含一个代表运行环境的SparkContext对象。程序的执行从Driver程序开始，所有操作执行结束后回到Driver程序中。

SparkContext对象

①每个Driver Program里都有一个SparkContext对象

SparkContext对象联系 cluster manager（集群管理器），从 cluster manager申请任务执行需要的内存和CPU资源；

②和Executor进程交互，完成任务的启动、分配和监控

Worker Node

集群上的计算节点，对应一台物理机器

Worker进程

①用于和cluster manager进程交互，向cluster manager注册和汇报自身节点的资源使用情况

②管理和启动Executor进程

Executor执行器

一个JVM进程，用于运行和计算Task，并将计算结果回传到Driver中

Task任务

执行器上执行的最小单元。比如RDD Transformation操作时对RDD内每个分区的计算都会对应一个Taskr任务。它会被SparkContxt送到某个Executor上去执行

cluster manager 集群管理器

对应Master进程， 接收Driver的资源申请，从收集的资源池中，寻找满足资源条件的worker结点，并告诉Driver，哪台worker结点可以执行当前任务

微观流程

当Spark应用程序启动后, 此时首先会创建SparkContext对象, 此对象在创建的时候, 底层同时也会创建DAGScheduler和TaskScheduler

RDD Objects

可以理解为用户实际代码中创建的RDD，这些代码逻辑上组成了一个DAG。

DAGScheduler

负责DAG流程图生成, Stage阶段划分, 每个阶段运行多少个线程；

当遇到action算子后, 就会产生一个Job任务, SparkContext对象将任务提交给DAGScheduler, DAGScheduler接收到任务后, 就会产生一个DAG执行流程图, 划分Stage, 并且确定每个stage中需要运行多少个线程, 将每一个阶段的线程放置到一个TaskSet集合中, 提交给TaskScheduler

TaskScheduler

 负责每个阶段的Task线程的分配工作, 以及将对应线程任务提交到Excutor上运行；

TaskScheduler接收到各个阶段的TaskSet后, 开始进行任务的分配工作, 确认每个线程应该运行在那个executor上(尽可能保持均衡), 然后将任务提交给对应executor上,让executor启动线程执行任务即可,阶段是一个一个的运行, 无法并行执行的

简而言之，启动Executor进程，进程内运行线程执行task任务

SchedulerBackend

与Executor交互，完成Task任务的分配和资源调度，并将结果回传到Driver

代码实现

org.apache.spark.scheduler.DAGScheduler  

将一个DAG划分为一个一个的Stage阶段（每个Stage是一组Task的集合）

然后把Task Set 交给TaskScheduler模块。

org.apache.spark.scheduler.TaskScheduler

从DAGScheduler接收不同Stage的任务。向Cluster Manager 申请资源。然后Cluster Manager收到资源请求之后，寻找符合条件的Worker，并在该Worker上启动Executor

org.apache.spark.scheduler.SchedulerBackend

向当前等待分配计算资源的Task分配Executor，并且在分配的Executor上启动Task，完成计算的资源调度

AKKA

一个网络通信框架，类似于Netty，在Spark1.8之后已全部替换成Netty

Spark并行度

整个Spark应用中, 影响程序并行度的因素有以下两个原因:

  • 1- 资源的并行度: Executor数量 和 CPU核心数 以及 内存大小

  • 2- 数据的并行度: Task的线程数 和 分区数量

推荐值(经验值): 
    一个CPU上运行 2~3个线程, 一个CPU需要配置3~5GB的内存, 从而充分压榨CPU性能
    一个线程, 建议处理1~3GB数据, 处理时间 10~20分钟, 如果想要时间减少, 那么让每一个线程处理数据量减少    一个Executor建议占用 3~5个CPU核数

并行度设置, 需要在shuffle后生效, shuffle前的分区数量, 默认取决于初始数据源的时候确认的分区数量

Spark Job记录查看
Alen
07-12 857
修改配置文件 cd /opt/spark/conf cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf #开启日志服务 spark.eventLog.enabled true #日志存放位置 spark.eventLog.dir hdfs://master:8020/var/log/spark ...
[spark] 从spark-submit开始解析整个任务调度流程
UFO的博客
11-01 2721
spark应用程序可以以Client模式和Cluster启动，区别在于Client模式下的Driver是在执行spark-submit命令节点上启动的，而Cluster模式下是Master随机选择的一台Worker通过DriverWrapper来启动Driver的。
Spark Job调度流程
feizuiku0116的博客
11-23 537
Spark Application应用的用户代码都是基于RDD的一系列计算操作，实际运行时，这些计算操作是Lazy执行的，并不是是所有的RDD操作都会触发Spark往Cluster上提交实际作业，基本上只有一些需要返回数据或者向外部输出的操作才会触发实际计算工作（Action算子），其他的变换操作基本上只是生成对应的RDD记录依赖关系（Transformation算子） 当启动Spark Application的时候，运行MAIN函数，首先创建SparkContext对象（构建DAGSchedule..
Spark作业调度流程
边看边学
12-18 317
Spark首先会对Job进行一系列的RDD转换操作，并通过RDD之间的依赖关系构建DAG(有向无环图)。然后根据RDD依赖关系将RDD划分到不同的stage中，每个stage按照partition的数量创建多个Task，最后将这些Task提交到集群的work节点上执行。具体流程如下图所示： 构建DAG，将DAG提交到调度系统； DAGScheduler负责接收DAG，并将DAG划分成多个stage，最后将每个stage中的Task以任务集合(TaskSet)的形式提交个TaskScheduler做下一步
Spark任务调度
Laoddaaa的博客
08-22 298
Spark任务调度
spark任务运行流程及内部任务的调度机制
Mr.pan felix的专栏
07-13 1266
原文链接：https://juejin.im/post/5e7485e76fb9a07caf447f12 本文将针对spark中的Driver和Executor讲起，简述了spark的运行流程，部署模式以及内部任务调度机制，希望针对spark任务执行过程进行尽可能好理解的解析 1.两个重要的主角 ​ 在spark中，有两个重要的主角是绕不开的，driver和executor，他们的结构呈一主多从模式，driver就是那个单身狗，控制欲很强，权利也很大，每天独自一人没别的事，就想法设法的指挥着手下一
spark-2.4.4-bin-hadoop2.6.tgz
02-02
8. **Spark Job调度**： Spark使用FIFO和Fair Scheduler，根据作业优先级和资源需求进行任务调度。 9. **安全性**： Spark 2.4.4增加了对Kerberos等安全协议的支持，增强了集群的安全性。 10. **监控和调优**： ...
spark-master.zip
09-04
Spark Master是Spark集群的控制中心，它负责管理整个集群的资源分配和任务调度。Master节点维护了一个工作节点（Worker Node）的列表，每个Worker Node都托管了若干个执行器（Executor）。当用户提交一个作业（Job）...
Spark -- 资源申请和任务调度
最新发布
加油
10-25 272
5、Executor 进程启动后会向 AM（Driver）反向注册，Executor 全部注册完成后，开始执行执行 Job 任务 AM中的 SparkContext 分配 Task 给 Executor 执行，Executor 运行 Task 并向AM（Driver）汇报运行状态、进度、以及最终结果；1、指的是如果当前的Task的运行速度缓慢，此时TaskSchedule就会在比较空闲的Executor上启动一个相同的Task来执行这个任务，当两个Task谁先结束，先出来的结果就作为最终的计算结果。
搞懂spark-submit参数及应用程序提交（详细）
热门推荐
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
spark job， stage ，task介绍。
AStar的博客
05-03 832
1. spark 如何执行程序？ 首先看下spark 的部署图：    节点类型有： 1. master 节点： 常驻master进程，负责管理全部worker节点。 2. worker 节点： 常驻worker进程，负责管理executor 并与master节点通信。 dirvier：官方解释为： The process running the main() function o
Spark运行流程（ RDD 的job调度流程: Driver内部运行流程）
sijiwang95的博客
02-17 220
Spark运行流程（ RDD 的job调度流程: Driver内部运行流程）
Spark的任务调度流程(Driver 内部运行流程)
s1275200879的博客
04-04 479
Spark的核心是基于RDD来实现的，Spark任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，然后将每个Stage中的任务（Task）分发到指定的节点去运行得到最终的结果。然后把每个阶段的线程放置到一个TaskSet中, 提交给TaskScheduler , TaskScheduler遍历每一个TaskSet , 将其尽可能均衡地分配给 Executor 来运行, 最后Driver 进行监控管理即可.一个TaskSet对应的调度阶段。
spark job提交
jason的笔记
08-08 847
当用户生成sparkcontext是，在读入文件， 可以看出这里直接调用rdd的saveAsTextFile spark-master\spark-master\core\src\main\scala\org\apache\spark\api\java\JavaRDDLike.scala def saveAsTextFile(path: String): Unit = { #触发rdd的a...
Spark Job（Spark 架构角度）笔记
weixin_41074929的博客
08-29 543
spark-shell中默认情况下没有任何Job。 默认资源分配方式：在每个Worker上为当前程序分配一个ExecutorBackend进程，且默认情况下最大化的使用Cores和Memory。 在一个Executor中一次性最多能运行多少并发的Task取决于当前Executor能够使用的Cores的数量。 一个Stage中的多个任务具体分配给哪个节点执行主要取决...
spark中的job和stage
白乔专栏
06-20 682
编写了某个任务： val line = sc.textFile("hdfs://vm122:9000/dblp.rdf") line.flatMap { extractProperties }.groupBy(_._1).map(resource2JSON).saveAsTextFile("hdfs://vm122:9000/nodes"); 执行的时候可以看到spark分成2个stage：
Spark修炼之道（高级篇）——Spark源码阅读：第三节 Spark Job的提交
weixin_34149796的博客
10-19 150
前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码： import org.apache.spark.{SparkConf, SparkContext} object SparkWordCount{ def main(args: Array[String])...
spark入门之三 spark job提交
追赶者的博客
01-28 1517
spark job提交过程
Spark任务提交底层原理
djph26741的博客
11-07 296
Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Task...
Spark任务调度机制解析：Stage与Task的调度流程
Spark任务调度机制是Spark内核中的核心部分，它涉及到Job、Stage和Task的管理和分发。在YARN-Cluster模式下，Spark应用程序的执行流程始于SparkContext的创建，由Driver线程负责任务调度，与ApplicationMaster交互以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值