IntelliJ Idea构建Spark(scala)项目

IntelliJ IDEA 2016.3
Build #IU-163.7743.44, built on November 18, 2016
Subscription is active until November 23, 2017
JRE: 1.8.0_112-release-408-b2 x86_64
JVM: OpenJDK 64-Bit Server VM by JetBrains s.r.o

首先在插件里下载安装scala,安装好后重启Ide,我们可以看到创建项目里又了scala项目,我们选择scala,然后scala sdk版本我们选择 scala 2.11.0,如果没有,我们点create,然后下载这个版本,版本的选择是有讲究的,我一开始安装的是2.12.1,最新版本,spark我们下载的hadoop2.6.0的,运行时一只报错,

报错位置

val sc = new SparkContext(conf)

查了资料,是版本不适应,我又换了scala2.10.0,报错更离谱了,
大概是这样的,
Error compiling sbt component 'compiler-interface-2.10.0-52.0'

于是换了最终的2.11.0版本,没有问题了。


有必要说一说项目构建方法吧,不过网上资料已经很多很详细了,我再稍微废话一下吧。

1.如果没有安装scala插件我们去插件仓库搜索一下scala,安装后重启ide
这里写图片描述
2.安装好了新建scala工程
这里写图片描述
3.选择scala的sdk版本,没有的点create,download下载一个。
这里写图片描述
4.scala项目创建好了,我们需要导入spark的jar包,去spark官网下载,我们下载的是hadoop2.6.0
这里写图片描述
5.我们下载后解压,找到里边的jars文件夹,导入ide中,
这里写图片描述
这里写图片描述
这里写图片描述
6.选择那个jars包就好了。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值