SPARK 资源调度源码总结

1. Executor在集群中分散启动，有利于task计算的数据本地化

2. 默认情况下（提交任务的时候没有设置--executor-cores选项），每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存

3. 如果想在Worker上启动多个Executor，提交Application的时候要加--executor-cores这个选项

4. 默认情况下没有设置--total-executor-cores,一个Application会使用Spark集群中所有的cores

转载于:https://www.cnblogs.com/xiangyuguan/p/11241130.html