关于spark yarn模式下的常用属性

最新推荐文章于 2024-07-31 13:16:03 发布

Lestat.Z.

最新推荐文章于 2024-07-31 13:16:03 发布

阅读量3.4k

点赞数 1

分类专栏： Spark Spark学习随笔文章标签：常用属性

本文链接：https://blog.csdn.net/yolohohohoho/article/details/90108495

版权

本文主要梳理了Spark在YARN模式下运行时的一些关键配置属性，这些属性对于优化Spark作业性能和资源管理至关重要。

摘要由CSDN通过智能技术生成

整理了spark官网提供的一些常用的spark属性。

属性名	默认值	描述
spark.yarn.am.memory	512m	在Client模式下用于YARN Application Master的内存量，格式与JVM内存字符串相同（例如512m，2g）。在Cluster模式下，请改用spark.driver.memory。使用小写后缀，例如 k，m，g，t和p分别为kibi-，mebi-，gibi-，tebi-和pebibytes。
spark.yarn.am.cores	1	在Client模式下用于YARN Application Master的核心数。在群集模式下，请改用spark.driver.cores。
spark.yarn.am.waitTime	100s	仅在Cluster模式下使用。 YARN Application Master等待SparkContext初始化的时间。
spark.yarn.submit.file.replication	The default HDFS replication (usually 3)	为应用程序上载到HDFS的文件的HDFS复制级别。这些包括Spark jar，app jar和任何分布式缓存文件/存档
spark.yarn.stagingDir	当前用户在文件系统中的主目录	提交应用程序时