Spark分析之TaskScheduler

最新推荐文章于 2021-12-15 11:23:36 发布

打怪的蚂蚁

最新推荐文章于 2021-12-15 11:23:36 发布

阅读量504

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/xgjianstart/article/details/64132876

版权

TaskScheduler是Spark中可插拔的任务调度接口，服务于一个SparkContext，负责接收并执行TaskSet，处理straggle任务和shuffle输出丢失等问题。Task是Executor的执行单元，可以从外部存储和shuffle数据中获取数据，分为ShuffleMapTask和ResultTask两种类型。ShuffleMapTask进行数据分区，ResultTask返回结果给driver。

摘要由CSDN通过智能技术生成

TaskScheduler概述：

TaskScheduler是一个可插拔任务调度接口，通过不同的SchedulerBackend进行任务的调度。主要功能如下：

1、一个TaskScheduler只为一个SparkContext服务，接收DAGScheduler提交过来的一组组的TaskSet；

2、TaskScheduler将task提交到集群中并执行，如果其中某个Task执行失败则重试之；TaskScheduler将TaskSet对应的执行结果返回才DAGScheduler；

3、TaskScheduler处理straggle任务（比如：100个任务运行，其中99个任务快，1个任务慢，需要在另外一个节点上开启一个相同的任务来运行，谁先完成取用谁）；

4、遇到shuffle输出丢失则汇报给DAGScheduler；

5、为每个TaskSet维护一个TaskSetManager追踪本地性(resourceOffer-->findTask)及错误信息；

TaskSet.scala

private[spark] class TaskSet(
    val tasks: Array[Task[_]],
    val stageId: Int, //该TaskSet对应哪个stage
    val attempt: Int,
    val priority: Int,
    val properties: Properties) {
    val id: String = stageId + "." + attempt
}