Deploying 部署
提交应用
spark home的bin目录下有个spark-submit脚本是用来在集群模式下启动应用的。通过统一的接口方式可用于所有spark支持的集群管理器,而不需要特别为每种进行格外的配置。
打包应用的依赖
如果你的代码依赖于其它项目,你需要和你的应用打包在一起,以便于分发代码到集群中。对于python应用,可以使用spark-submit的 --py-files参数增加.py,.zip 或者.egg文件,这样可以和你的应用一起分发到集群中。
用spark-submit启动应用
如下所示启动脚本:
./bin/spark-submit
–class
–master
–deploy-mode
–conf =
… # other options
[application-arguments]
其中:
–class: 应用的入口类 (e.g. org.apache.spark.examples.SparkPi)
–master: 集群主节点url地址, (e.g. spark://23.195.26.187:7077)
–deploy-mode: 默认client模式,即driver运行于当前提交节点,或者cluster模式,dirver部署在某个工作节点
–conf: spark配置属性
deng
运行本地模式使用8 cores
./bin/spark-submit
–class org.apache.spark.examples.SparkPi