使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址： 

本文选择右下角的Community Ultimate版本进行下载安装 

本文使用的是MacOS

环境为：

JDK1.8.0_144

Scala2.10.4

在网上下载jdk和scala的安装包双击运行安装即可

注意：如果之后要将Scala文件打包成jar包并在Spark集群上运行的话，请确保Spark集群和打包操作所在机器 环境保持一致！不然运行jar包会出现很多异常

要使用idea开发Spark程序首先要安装Scala插件 
进入idea主界面

在线安装： 
选择Plugins 

现在可以用idea来新建一个scala项目 
New Project->Scala

由于项目已存在，所以不做操作，我的项目结构为：

演示本人其中一个Spark Example，RDDExample.scala

package com.jinfeng.spark.examples

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by WangJinfeng on 2017/6/9.
  */
object RDDExample {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("RDD Example").setMaster("local")
    val sc = new SparkContext(conf)
    val rdd1 = sc.parallelize(1 to 9, 3)
    val rdd2 = rdd1.map(x => x * 2)
    rdd2.collect().foreach(println)
  }
}

右键点击RUN/DUBUG

执行结果如下图所示：

遇到问题及解决方案：

问题：

解决方案：

选择Preferences，找到Java Compiler，将Target bytecode version 改为上述问题所需要的1.8即可。