Spark在YARN上运行时，设置spark.yarn.archive和spark.yarn.jars可以避免每次运行时上传jar到YARN节点，提升性能。这些配置通常用于指定HDFS上的位置，以便任务可以从共享存储中读取，而不是从本地缓存。不过，当HDFS数据副本不足时，可能会影响任务分配。正确配置如：'hdfs://namenode:port/path_to_archive'，注意URL末尾的正斜杠。
为什么要设置呢？摘自Spark-2.3.0官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations
（个人理解：spark运行所需的jar包，不设置的话每次运行就需要上传到yarn管理的各个节点的缓存，很麻烦很影响性能。如果设置了，比如说放在HDFS上，就不需要每次都上传而是从HDFS上读取，能快那么一点点……）
（但是呢，HDFS上如果只设置保存三份数据，而如果需要20个节点来运行spark任务，会怎么样呢……）
Running Spark on YARN requires a binary distribution of Spark which is built with YARN support. Binary distributions can be downloaded from the |
最低0.47元/天 解锁文章
1483
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
