Spark任务的执⾏流程

1）任务划分：Spark 将任务划分为多个 stages 和 tasks。每个 stage 包含多个 tasks，且每个 task 是对数据集中⼀个分区的计算。

2）任务调度：Spark 会将每个 stage 中的 tasks 分配给集群中的 Executor 进⾏计算。任务调度分为两 个阶段：第⼀阶段为 Task Scheduler，在该阶段 Spark 会将任务分配给可⽤的 Executor；第⼆阶段为DAG Scheduler，Spark 会在该阶段优化任务执⾏计划。

3）数据分区：Spark 将数据集划分为多个分区，每个分区会被分配到集群中的某⼀个 Executor 上进⾏计算。每个 Executor 会处理多个分区，且每个分区只会被⼀个 Executor 计算。

4）任务执⾏：Executor 会从 Driver 程序中获取任务信息，并根据任务信息从对应的数据分区中获取据，然后执⾏具体的计算任务。

5）任务结果收集：Executor 执⾏完任务后，将计算结果返回给 Driver 程序。Driver 程序会收集所有Executor 返回的计算结果，并进⾏汇总。

6）结果输出：最后，Driver 程序会将计算结果写⼊到外部存储系统（如 Hadoop HDFS)。