spark-scheduled调度算法

1.3源码是如此,后面新版本源码会尽可能的根据用户shell配置的参数进行分配

1.spareadOutApps 尽可能分配到多的机器上面execute和CPU core

2.非spareadoutapps 尽可能少的分配到少的机器上,机器尽可能多的容纳execute和CPU core

总结:所以用户shell文件的分配不一定和spark本身分配的一致

转载于:https://www.cnblogs.com/yaohaitao/p/5741548.html