scala spark开发模式

使用scala开发spark app有两种模式:

一是在集成开发环境中开发并进行单元测试,之后导出可运行jar包,进行部署,但是,由于eclipse无法识别scala的main(),所以无法直接导出jar包,有一种间接的方式:创建一个java project,在java project的main中调用scala项目内容,再将java project导出成可运行jar包,这样scala项目就嵌套在里面了,还有一个限制就是只能运行在本地模式,无法部署到yarn上;

二是用sbt或maven等项目构建工具构建自己的scala项目,但这种方式要开发人员自己做一些项目结构以及依赖的维护,对于新手来说比较困难;

结合以上两种开发方式的优缺点,可以考虑两者结合使用:在单元测试的开发阶段使用ide,等到所有功能走通后再用sbt进行构建并部署到需要的地方。

下面介绍一些相关的工具和操作

scala ide:从http://scala-ide.org/download/sdk.html下载对应版本的scala ide(实际是集成了scala插件的eclipse),下载后,解压就可以用了

创建scala项目:file -> new -> scala project,要开发spark项目至少要导入$SPARK_HOME/assembly/target/scala-2.10/spark-assembly_version.jar以及$SPARK_HOME/core/target/spark-core_version.jar

注意:在ide中要设置运行模式为local,即sparkcontext的第一个参数

在ide中走通后,根据目录结构,使用sbt将项目重新构建,构建方法以及目录结构参考http://blog.csdn.net/pan12jian/article/details/25327343

项目构建后,使用spark自带的sbt进行编译:

$SPARK_HOME/sbt/sbt package
运行命令:

$SPARK_HOME/sbt/sbt run


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值