PySpark之Spark job调度流程

七、job调度流程

• Spark RDD通过其Transactions操作，形成了RDD血缘关系图，即DAG，最后通过Action的调用，触发Job并调度执行

  • DAGScheduler负责Stage级的调度，主要是将DAG切分成若干Stages，并将每个Stage打包成TaskSet交给TaskScheduler调度

  • TaskScheduler负责Task级的调度，将DAGScheduler给过来的TaskSet按照规定的调度策略分发到Executor上执行，调度过程中SchedulerBackend负责提供可用资源，其中SchedulerBackend有多种实现，分别对接不通的资源管理系统

• Spark的任务调度总提来说分两路进行，一路是Stage级的调度，一路是Task级的调度

• 一个Spark应用程序包括Job、Stage及Task：

  • 第一：Job是以Action方法为界，遇到一个Action方法则触发一个Job；
  • 第二：Stage是Job的子集，以RDD宽依赖(即Shuffle)为界，遇到Shuffle做一次划分；
  • 第三：Task是Stage的子集，以并行度(分区数)来衡量，分区数是多少，则有多少个task