两种类型的Spark RDD task解析以及iterator解析 -- （视频笔记）

spark 每次提交一个作业，都会划分成不同的stage，除了最后一个stage（shuffle map task），前边的stage属于一种类型（result task）。

spark中的job，内部是由具体task构成，由于spark的调度模式根据宽依赖的模式划分成不同的stage，而我们从spark获取结果，是从最后一个stage中获取的。

stage内部有不同的任务，任务被提交到集群的计算节点，计算节点计算逻辑的时候，在excutor中

线程池中的线程中运行，线程会调用具体的run方法执行。

最后一个stage task类型为result类型，之前的所有的类型都为shuffle map task类型。

 

RDD objects：建DAG图，

DAGschedule：根据DAG图，将任务划分为不同的stage即task

TaskScheduler：cluster 获取task，并分配给worker和重试失败的任务。（shuffle map task和result task）

shuffle map task会将stage划分为不同的buckets。buckets决定这并行度。

worker：执行具体的task，两种taks都包含runtask 方法，方法中执行的iterator，iterator中包含cache判断。（可以在源码中查看到）

转载于:https://www.cnblogs.com/isenhome/p/5086130.html