7.在集群上运行Spark

用sbt打包Spark应用

sbt是一个比较新的Scala项目构建工具，与Maven功能类似，编写的Scala程序放在项目根目录/src/main/scala 目录下，要把所有依赖包打包在一个Jar包内（即assembly包）需要用到assembly插件。

可以安以下步骤构建：

1.在项目根目录下新建build.sbt文件 ，并输入以下内容：

第一行引入构建assembly包所需要的功能。

libraryDependencies ++=  ... 以组ID%包ID%包版本号 配置依赖的jar包，注意第一行配置Spark Jar包时 多了 %"provided" 用于指定Jar包作用范围，指定了provided打包时即排除这个jar包，因为Spark运行环境中已经有这些Jar包了。

2.在项目根目录/project 目录下新建 assembly.sbt文件并输入：

用于引入sbt-assembly插件

3.运行 sbt assembly 构建assembly Jar包，生成的Jar包在项目根目录/target/scala-xxx 下,名称为 my-project-assembly.jar（在第一步中配置的）

4.用spark-submit 提交应用，格式为：