Spark YARN Cluster和Client两种不同提交模式区别点击这里也可看全文
文章目录
Spark使用spark-submit启动应用程序
一旦用户应用程序被打包,就可以使用bin/spark-submit
脚本来启动它。该脚本会设置Spark及其依赖项的类路径,并支持Spark支持的不同集群管理器和部署模式:
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # 其他选项
<application-jar> \
[application-arguments]
一些常用的选项包括:
--class
:指定应用程序的入口点(例如org.apache.spark.examples.SparkPi
)。--master
:指定集群的主节点URL(例如spark://23.195.26.187:7077
)。