统一资源调度器:YARN, Mesos
spark可以运行在EC2,YARN,Mesos,Standalone
Standalone模式只支持FIFO调度策略,而且默认情况下提交一个job会占用掉spark集群所有的core,这样就变一个集群只能运行一个job了,需要设置spark.cores.max值来做调整
统一资源调度器:YARN, Mesos
spark可以运行在EC2,YARN,Mesos,Standalone
Standalone模式只支持FIFO调度策略,而且默认情况下提交一个job会占用掉spark集群所有的core,这样就变一个集群只能运行一个job了,需要设置spark.cores.max值来做调整