Spark执行流程(详细)

大体执行流程
1.driver执行main方法(懒执行),action算子触发触发job
2.根据宽窄依赖划分stage
3.每个stage会被整理成taskset(包含多个task)4.每个task分发到具体的Executor去执行
完整调度流程

1.当Driver启动的时候,初始化时会相应的创建DagScheduler、TaskScheduler

2.TaskScheduler初始化的时候,会创建SchedulerBacked(主要负责集群之间的通讯)

3.SchedulerBacked和ApplicationMaster进行通讯,SchedulerBacked会告诉ApplicationManager会启动多少个Executor

4.然后ApplicationManager会向ResourceManager申请资源

5.然后启动相应的Executor

6.Executor调用ExecutorBackend向Driver里面的ScheduleBackend注册,当所有的Executor都注册完之后

  • 1
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark任务的详细执行流程如下: 1. 创建SparkContext:首先,Spark应用程序需要创建一个SparkContext对象,它是与集群通信的主要入口点。 2. 创建RDD:在Spark中,数据被组织成弹性分布式数据集(RDD)。RDD可以从外部存储系统(如HDFS)中读取数据,也可以通过对已有RDD进行转换操作来创建。 3. 转换操作:Spark提供了一系列转换操作,如map、filter、reduce等。这些操作可以对RDD进行转换,生成新的RDD。转换操作是惰性求值的,即不会立即执行,而是记录下来以便后续执行。 4. 行动操作:当需要从RDD中获取结果时,需要执行行动操作。行动操作会触发Spark作业的执行,并将结果返回给驱动程序。 5. 任务划分:Spark将作业划分为一系列任务,每个任务处理RDD的一个分区。任务划分是根据数据的分区情况和可用的计算资源进行的。 6. 任务调度:Spark将任务调度到集群中的可用计算节点上执行。任务调度器负责将任务分配给可用的Executor,并监控任务的执行情况。 7. 任务执行:每个Executor会为分配给它的任务创建一个或多个线程,并在这些线程上执行任务。任务执行过程中,Executor会将数据从内存或磁盘中读取到计算节点上,并进行计算操作。 8. 数据传输:在任务执行过程中,Spark会根据需要将数据从一个节点传输到另一个节点。这种数据传输可以是节点内的数据传输,也可以是跨节点的数据传输。 9. 结果返回:当任务执行完成后,结果会返回给驱动程序。驱动程序可以将结果保存到外部存储系统,或者进行进一步的处理和分析。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值