Spark开发环境搭建(for Eclipse)

[size=x-large]下载和安装Scala插件[/size]

Scala IDE([url]http://scala-ide.org/[/url]);或者在已有的Eclipse IDE里面安装Scala插件,选择插件安装时注意要选Scala worksheet功能,以方便在Eclipse里面直接测试一些代码片段。也要看清楚和对应版本的Eclipse,不然会有问题。

下载后,叫update-site.zip,将里面对应的jar拷贝到eclipse的plugin和features下。
然后再将页面上,绿色部分的地址拷贝,将其安装。


[img]http://dl2.iteye.com/upload/attachment/0104/5796/7ae4db2b-b797-354c-9e31-1f6fda9fde57.png[/img]

[size=large]安装方法:
[/size]
[b]a [/b]打开help菜单->install new software

[b]b [/b]绿色部分的地址拷贝,加入到work with的文本框中

[b]c [/b]选择select all,然后完成就开始安装)。

[img]http://dl2.iteye.com/upload/attachment/0104/5798/d876d38a-a75e-37e0-b981-5843956cbe7e.png[/img]

之后,重启Eclispe,在eclispe右上角会有scala,如果没有,请new一下,看看有没有scala相关的, 只要有就是安装成功。

[size=x-large]Spark的依赖包[/size]

下面我们需要构建Spark的依赖包,需要先建立一个Scala的project,之后在环境变量的lib里,添加编译后的jar(我的是:spark-assembly-1.1.0-hadoop2.4.0.jar)。

添加后,可能有的版本不一致,会提示错误,

[img]http://dl2.iteye.com/upload/attachment/0104/5800/868efbc2-56f2-3e10-a28d-abb4936e4d16.png[/img]

然后需要在build path里调整符合的Scala版本,即可。

[img]http://dl2.iteye.com/upload/attachment/0104/5804/e44c3cb3-f6d4-3568-8087-d69c1a97a8d3.png[/img]

[img]http://dl2.iteye.com/upload/attachment/0104/5806/c810b460-d165-37d0-b324-a9a256e6b992.png[/img]


[size=medium][b]至此,Spark已经可以跑了,让我们来试试吧。[/b][/size]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值