YARN上Spark的资源分配配置

在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。

Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-shell / pyspark，名称类似于–xx-xx。 如果配置中有客户端工具的相应标志，则需要将该标志放在括号“（）”中。 例如：

spark.driver.cores 
(--driver-cores)

1.纱线客户端与纱线群集模式

有两种部署模式可用于在YARN上启动Spark应用程序：

Per