spark on yarn 中的延迟调度(delay scheduler)

延迟调度算法思想十分简单，为了实现data locality(即该task所需数据就在其运行的机器上)，会尽量将task分布到有其所需数据的机器或者jvm中去，如果机器或者jvm已被占用就进行延迟等待，直到该机器或者jvm可以运行该task或者超过等待时限则将task运行到其他机器上。

这个想法基于以下几点:

1.往往数据比程序要大得多，分布式上处理的数据都是GB为单位的，将程序放到数据所在机器去执行，大大减少网络传输时间。

2.在集群上面task一般都是运行时间较短的，即整个集群上面不断有task完成，释放其占用的资源，延迟调度的task能够有极大的机会获得分配。

总之，就是延迟调度节省的网络传输时间远远大于task等待花费的时间。

延迟调度的思想是相通的，本文讨论的是spark在yarn集群上的延迟调度情况，故分为两层，第一层是yarn的延迟调度，第二层则是spark内部的延迟调度。

1.yarn级别的Delay Scheduler

spark在yarn上面的Delay Scheduler其实就是觉得spark的executor分配在哪些NodeManager上面，这是由yarn根据application的输入文件而定。尽量将executor分布到有数据的NodeManager上。因为，在这一层上如果executor无法做到data locality，那么到了spark的级别分配task到executor的时候，更加无法实现data locality。

在yarn中配置yarn.