Task执行原理流程:
1.当Driver中SchedulerBackend给ExecutorBackend发送launchTask之后,首先会反序列化TaskDescription。
2.Executor会通过launchTask来执行Task
3.Executor会通过TaskRunner在ThreadPool来运行具体的Task,TaskRunner的run方法中首先会通过调用statueUpdate给Driver发送信息汇报自己的状态,说明自己是running状态
4.TaskRunner,内部会做一些准备工作,例如反序列化Task的依赖,然后通过网络来获取需要的文件、Jar等
5.然后是反序列化Task本身
6.调用反序列化后的Task.run方法来执行任务并获得执行的结果,其中Task的run方法会导致调用的时候会导致task的抽象方法runTask的调用,在Task的runTask内部会调用RDD的iterator()方法,该方法就是我们针对当前Task所对应的P