spark yarn 提交_Spark 任务提交

提交的应用程序

Spark的bin目录中的Spark -submit脚本用于在集群上启动应用程序。它可以通过一个统一的接口使用所有Spark支持的集群管理器，这样您就不必为每一个都配置您的应用程序。

绑定应用程序的依赖关系

如果您的代码依赖于其他项目，您将需要将它们与应用程序一起打包，以便将代码分发到Spark集群中。为此，创建一个包含代码及其依赖项的编译jar(或“uber”jar)。sbt和Maven都有编译插件。在创建编译jar时，按提供的依赖项列出Spark和Hadoop;这些不需要绑定，因为它们是由集群管理器在运行时提供的。一旦您有了一个编译好的jar，您就可以调用bin/spark提交脚本，如这里所示，同时传递您的jar。

对于Python，您可以使用spark-submit的——py-files参数来添加.py、.zip或.egg文件，以便与应用程序一起分发。如果您依赖于多个Python文件，我们建议将它们打包成.zip或.egg。

启动应用程序与spark-submit

一旦绑定了用户应用程序，就可以使用bin/spark提交脚本启动它。这个脚本负责设置带有Spark及其依赖项的类路径，并可以支持不同的集群管理器和Spark支持的部署模式:

spark-submit 提交模板

(由于简书对于某些标签不识别 只能用图片了)

常用的选择：

--class: 应用程序的入口点(例如org.apache.spark.examples.SparkPi，自己程序的入口)

--master: