五种Spark大数据任务部署的方式

Deploying 部署

提交应用

spark home的bin目录下有个spark-submit脚本是用来在集群模式下启动应用的。通过统一的接口方式可用于所有spark支持的集群管理器，而不需要特别为每种进行格外的配置。

打包应用的依赖

如果你的代码依赖于其它项目，你需要和你的应用打包在一起，以便于分发代码到集群中。对于python应用，可以使用spark-submit的 --py-files参数增加.py,.zip 或者.egg文件，这样可以和你的应用一起分发到集群中。

用spark-submit启动应用

如下所示启动脚本:

./bin/spark-submit
–class
–master
–deploy-mode
–conf =
… # other options

[application-arguments]
其中:

–class: 应用的入口类 (e.g. org.apache.spark.examples.SparkPi)
–master: 集群主节点url地址， (e.g. spark://23.195.26.187:7077)
–deploy-mode: 默认client模式，即driver运行于当前提交节点，或者cluster模式，dirver部署在某个工作节点
–conf: spark配置属性
deng

运行本地模式使用8 cores

./bin/spark-submit
–class org.apache.spark.examples.SparkPi