Spark Task执行原理

Task执行原理流程：

1.当Driver中SchedulerBackend给ExecutorBackend发送launchTask之后，首先会反序列化TaskDescription。

2.Executor会通过launchTask来执行Task

3.Executor会通过TaskRunner在ThreadPool来运行具体的Task，TaskRunner的run方法中首先会通过调用statueUpdate给Driver发送信息汇报自己的状态，说明自己是running状态

4.TaskRunner，内部会做一些准备工作，例如反序列化Task的依赖，然后通过网络来获取需要的文件、Jar等

5.然后是反序列化Task本身

6.调用反序列化后的Task.run方法来执行任务并获得执行的结果，其中Task的run方法会导致调用的时候会导致task的抽象方法runTask的调用，在Task的runTask内部会调用RDD的iterator()方法，该方法就是我们针对当前Task所对应的Partition进行计算的关键所在，在处理内部会迭代Partition的元素并给我们自定义的function进行处理。

对于shuffleMapTask,首先要要对RDD以及其依赖关系进行反序列化。

最终计算会调用RDD的compute方法。

具体计算时，有具体的RDD，例如Map

7.把执行结果序列化，并根据大小不同的结果传回给Driver的方式

8.CoresGraninExecutorBackend给DriverEndpoint发送StatusUpdate来传输结果，DriverEndpoint会把执行结果传递给TaskSchedulerImpl处理，然后交给TaskResultGetter去分别处理Task执行成功或者失败的不同情况，然后告诉DAGScheduler任务处理结束的状况。

说明：

1.在执行具体Task的业务逻辑前会进行3次反序列化

  a>TaskDescription的翻译裂化

  b>Task反序列化

  c>RDD反序列化

2.在Spark1.6中，AkkFrameSize是128MB，所以可以广播非常大的任务，而任务的执行结果可以最大达到1GB。