Linux idea创建spark项目,IntelliJ IDEA搭建spark

环境：

jdk 1.18

scala 2.12.0

ubuntu 16.04

Intellij IDEA 2017.1

spark 2.1.0

步骤：

2、安装intellij IDEA并且下载scala plugin

遇到问题1：

scala plugin 下载出现错误：connect time out等

直接

点击下载就进入：

先下移动滚动条：

离线下载完毕：

点击下载的安装包，选择OK

最后重启intellij IDEA

3.搭建spark

选择创建工程

选择scala(IDEA其实就是scala,),如果没有安装sbt就没有sbt这个选项

选择Modues,"+"

不要使用默认的name,有时会报错

右击，选择添加文件夹

命名

导入spark的包

方法一：在spark.apache.org官网上下载(1.5版本以后都没jar包)

方法二：在自己下载spark环境下，找到jars,添加适合的.jar

在scala文件下

选择Object

进入的界面为：

spark环境搭建完毕！！！

如果遇到问题二：

主要是：

文件夹的都是source类型的，在intellij IDEA在大约2.10.0版本之后，选择三个文件为source类型的，编译都会出错。保留一个source文件夹，个人选择