一、spark-submit 介绍
1、spark-submit 介绍
程序一旦打包好,就可以使用 bin/spark-submit 脚本启动应用了。这个脚本负责设置 spark 使用的 classpath 和依赖,支持不同类型的集群管理器和发布模式。
2、运行方式
./bin/spark-submit \
--class <main-class>
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
参数解析:
-- class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)
-- master: 集群的 master URL (如 spark://23.195.26.187:7077)
-- deploy-mode: 是否发布你的驱动到 worker节点(cluster) 或者作为一个本地客户端 (client)
-- conf: 任意的 Spark 配置属性, 格式key=value。如果值包含空格,可以加引号“key=value”,缺省的 Spark 配置。
application-jar: 打包好的应用 jar,包含依赖。 这个 URL 在集群中全局可见。 比如 hdfs:// 共享存储系统,如果是 file:// path,那么所有的节点的path都包含同样的jar。
application-arguments: 传给 main() 方法的参数。
Master URL 可以是以下格式:
3、执行一个 spark 程序
/opt/module/spark-2.1