scala spark开发模式

使用scala开发spark app有两种模式：

一是在集成开发环境中开发并进行单元测试，之后导出可运行jar包，进行部署，但是，由于eclipse无法识别scala的main()，所以无法直接导出jar包，有一种间接的方式：创建一个java project，在java project的main中调用scala项目内容，再将java project导出成可运行jar包，这样scala项目就嵌套在里面了，还有一个限制就是只能运行在本地模式，无法部署到yarn上；

二是用sbt或maven等项目构建工具构建自己的scala项目，但这种方式要开发人员自己做一些项目结构以及依赖的维护，对于新手来说比较困难；

结合以上两种开发方式的优缺点，可以考虑两者结合使用：在单元测试的开发阶段使用ide，等到所有功能走通后再用sbt进行构建并部署到需要的地方。

下面介绍一些相关的工具和操作

scala ide：从http://scala-ide.org/download/sdk.html下载对应版本的scala ide（实际是集成了scala插件的eclipse），下载后，解压就可以用了

创建scala项目：file -> new -> scala project，要开发spark项目至少要导入$SPARK_HOME/assembly/target/scala-2.10/spark-assembly_version.jar以及$SPARK_HOME/core/target/spark-core_version.jar

注意：在ide中要设置运行模式为local，即sparkcontext的第一个参数

在ide中走通后，根据目录结构，使用sbt将项目重新构建，构建方法以及目录结构参考http://blog.csdn.net/pan12jian/article/details/25327343

项目构建后，使用spark自带的sbt进行编译：

$SPARK_HOME/sbt/sbt package

运行命令：

$SPARK_HOME/sbt/sbt run