Spark 之 Task 原理分析

目录

• 1、接收请求，准备操作
• 2、处理阶段 ShuffleMapTask
• 3、处理阶段 ResultTask

1、接收请求，准备操作

Executor 接收到了LaunchTask的请求后，在TaskRunner中会做一些准备工作，例如：反序列化Task，因为Task发送过来时，是被序列化的。然后通过网络拉取需要的文件，jar包等。在准备工作之后，运行task的run（）方法，该方法最核心的就是调用RDD的iterator（）方法，此时会针对 Task 所对应的 RDD 的partition，执行我们自定义的算子函数。

2、处理阶段 ShuffleMapTask

计算完partition 数据之后，实际上会使用shuffleManager的shuffleWriter， 将数据分区之后写入对应的分区文件。当所有的操作完了之后，实际上会有一个MapStatus，发送给DAGscheduler中的MapOutputTracker。

3、处理阶段 ResultTask

该阶段，会去MapOutpoutTracker中拉取ShuffleMapTask的输出数据（RDD）, 执行 shuffle 等操作，当然也包括我们自定义的算子函数。