目录
- 1、接收请求,准备操作
- 2、处理阶段 ShuffleMapTask
- 3、处理阶段 ResultTask
1、接收请求,准备操作
Executor 接收到了LaunchTask的请求后,在TaskRunner中会做一些准备工作,例如:反序列化Task,因为Task发送过来时,是被序列化的。然后通过网络拉取需要的文件,jar包等。在准备工作之后,运行task的run()方法,该方法最核心的就是调用RDD的iterator()方法,此时会针对 Task 所对应的 RDD 的partition,执行我们自定义的算子函数。
2、处理阶段 ShuffleMapTask
计算完partition 数据之后,实际上会使用shuffleManager的shuffleWriter, 将数据分区之后写入对应的分区文件。当所有的操作完了之后,实际上会有一个MapStatus,发送给DAGscheduler中的MapOutputTracker。
3、处理阶段 ResultTask
该阶段,会去MapOutpoutTracker中拉取ShuffleMapTask的输出数据(RDD), 执行 shuffle 等操作,当然也包括我们自定义的算子函数。