spark学习-Task调度算法

Task调度算法：对每个Task，依据本地化算法从最好的一种本地化级别开始遍历，直到task被分配到executor执行。

1.PROCESS_LOCAL，进程本地化，RDD的partition和task进入一个executor内，执行速度快。

2.NODE_LOCAL，节点本地化，RDD的partition和task不在一个executor中，不在一个进程内，在一个worker上。

3.NO_PREF，无所谓本地化级别，数据在哪性能都一样。

4.RACK_LOCAL，机架本地化。

5.ANY，任意的本地化级别。