Task调度算法:对每个Task,依据本地化算法从最好的一种本地化级别开始遍历,直到task被分配到executor执行。
1.PROCESS_LOCAL,进程本地化,RDD的partition和task进入一个executor内,执行速度快。
2.NODE_LOCAL,节点本地化,RDD的partition和task不在一个executor中,不在一个进程内,在一个worker上。
3.NO_PREF,无所谓本地化级别,数据在哪性能都一样。
4.RACK_LOCAL,机架本地化。
5.ANY,任意的本地化级别。