Spark动态资源分配-Dynamic Resource Allocation
关键字:spark、资源分配、dynamic resource allocation
Spark中,所谓资源单位一般指的是executors,和Yarn中的Containers一样,在Spark On Yarn模式下,通常使用–num-executors来指定Application使用的executors数量,而–executor-memory和–executor-cores分别用来指定每个ex
转载
2016-01-21 00:28:45 ·
649 阅读 ·
0 评论