今天在给 Executor 配置环境变量的时候,以为 Executor 环境变量跟 Driver 一样是通过 spark.kubernetes.driverEnv.XXX=YYY
,最后发现其实是 spark.executorEnv
,要注意 Env
的大小写,都是细节…
可以看到下图,其实 Spark on Kubernetes 的文档,并没有写,所以 Executor 环境变量就是普通的参数即可。
【Spark on Kubernetes】Executor环境变量
最新推荐文章于 2023-11-17 19:49:44 发布