Spark作业提交到集群的命令格式如下
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
参数定义如下:
--class
: 应用程序的入口类--master
: 资源管理器master的URL,例如spark standalone资源管理器地址:spark://23.195.26.187:7077, yarn集群地址:yarn, 本地调试模式地址:local
--deploy-mode
: 部署模式,如果driver要部署到集群的worker节点,则设置为cluster,如果driver部署在本地开发机,则使用client,默认值为client--conf
: Spark环境相关的一些配置application-jar
: 应用程序的jar包application-arguments
: 入口类的输入参数
示例1: 提交到yarn集群执行代码如下: