IntelliJ IDEA搭建spark

环境：

jdk 1.18

scala 2.12.0

ubuntu 16.04

Intellij IDEA 2017.1

spark 2.1.0

步骤：

1、下载Intellij IDEA   http://www.scala-lang.org/download/

 

2、安装intellij IDEA并且下载scala plugin

 

 

遇到问题1：

scala plugin 下载出现错误：connect time out等

直接

 

 

点击下载就进入：

 

 

先下移动滚动条：

 

 

 

离线下载完毕：

 

点击下载的安装包，选择OK

 

最后重启intellij IDEA

 

3.搭建spark

 

选择创建工程

选择scala（IDEA其实就是scala,）,如果没有安装sbt就没有sbt这个选项

 

 

 

 

选择Modues,"+"

 

不要使用默认的name,有时会报错

 

右击，选择添加文件夹

命名

 

导入spark的包

方法一：在spark.apache.org官网上下载（1.5版本以后都没jar包）

 

方法二：在自己下载spark环境下，找到jars,添加适合的.jar

 

 

在scala文件下

 

 

选择Object

 

进入的界面为：

 

 

spark环境搭建完毕！！！

如果遇到问题二：

 

 

主要是：

文件夹的都是source类型的，在intellij IDEA在大约2.10.0版本之后，选择三个文件为source类型的，编译都会出错。保留一个source文件夹，个人选择

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/2519051/blog/875418