在Spark应用中，配置`spark.executor.memory`时遇到问题。在local模式下，由于executor即为driver，应设置`--driver-memory`而非`spark.executor.memory`。对于任何使用'client'部署模式的应用，都需要指定`--driver-memory`。尽管`spark.executor.memory`在环境页面显示正确，但executor内存显示可能不包括driver的部分，driver内存大小由启动方式决定，如Java程序启动则使用-Xmx标志设定。
1.Setting spark.executor.memory problem
2.How to set Spark executor memory?
3.How to set Apache Spark Executor memory
问题：
在local mode下配置环境出错:
//出错代码：
val conf = new SparkConf()
.setMaster("local")
.setAppName("app")
.
5126
3577
356
953
2536
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
