使用Intellij Idea搭建Spark开发环境

环境：

Cent OS 6.7
jdk1.8.0_101
Spark-1.6.3-bin-hadoop2.6.tgz

下载安装包

前去官网下载Spark-1.6.3-bin-hadoop2.6.tgz；或者是自己编译源码生成想要的对应的hadoop版本。
在centos下解压缩到指定目录（笔者为/usr/local/）

$tar -zxvf Spark-1.6.3-bin-hadoop2.6.tgz -C /usr/local/

下载Intellij Idea

前去官网下载Intellij Idea（linux 版本） ;

在centos下解压缩，运行；

$tar -zxvf ideaIC-2016.3.4.tar.gz -C /usr/local
$sudo mv ideaIC-163.12024.16 idea
$./idea/bin/idea.sh    //运行画面如下

---

请下载安装scala plugin

---

选择install JetBrains plugins是在线安装，若网速不好，可选择install plugin from disk。

下载对应的scala插件，笔者下载的是scala-intellij-bin-2016.3.4.zip。导入即可

安装成功的画面如下：

创建scala项目

---

若没有Scala-sdk-2.10.5，则需要在centos上下载2.10.5的安装包，解压，配置环境变量即可。

$vim ~/.bashrc

末尾添加
export SCALA_HOME=/usr/local/scala-2.10.5
export PATH=$PATH:$SCALC_HOME/bin

$source ~/.bashrc

创建scala程序

编写scala程序Hello World

添加依赖，打jar包

File->Project Structure->在右侧选择Artifacts->JAR->From modules with dependencies

build–>build Artifacts

注：因为spark运行程序需要以jar包的形式在集群上运行，也可在IDEA编译器中运行，按照如下设置：

VM options: -Dspark.master=local

参考：

heybiiiiii：Spark（八） – 使用Intellij Idea搭建Spark开发环境