不要在resource目录下放置集群的配置文件。
可以通过Configuration类进行配置文件的读取,并且设置对应的资源配置参数,如
.config(“spark.driver.memory”, “8g”)
.config(“spark.executor.instances”, “10”)
.config(“spark.executor.memory”, “2g”)
.config(“spark.executor.cores”, “2”);
然后提交任务到yarn。
idea提交Job至YARN集群
最新推荐文章于 2024-05-20 16:20:35 发布