对于spark on yarn模式,yarn上的container需要运行spark所需的jar包。
在spark-defaults.conf中指定spark.yarn.archive或者spark.yarn.jars
1、spark.yarn.archive
将spark主目录下jars文件夹下的jar包打包,比如spark_lib.zip
将spark_lib.zip上传到hdfs中,比如hdfs:///data/spark/spark_lib.zip
在spark-defaults.conf中配置spark.yarn.archive hdfs:///data/spark/spark_lib.zip
2、spark.yarn.jars
将spark主目录下jars文件夹下的jar包上传到hdfs中,比如hdfs:///data/spark
在spark-defaults.conf中配置spark.yarn.jars hdfs:///data/spark/*.jar
3、若没有配置spark.yarn.archive或者spark.yarn.jars,则在每次提交spark任务时,都会将spark主目录下jars文件夹下的jar包上传到hdfs中,这就降低了提交速度
spark on yarn提高提交任务速度
最新推荐文章于 2023-08-23 22:46:05 发布