Intellij Idea下载地址:
本文选择右下角的Community Ultimate版本进行下载安装
本文使用的是MacOS
环境为:
JDK1.8.0_144
Scala2.10.4
在网上下载jdk和scala的安装包双击运行安装即可
注意:如果之后要将Scala文件打包成jar包并在Spark集群上运行的话,请确保Spark集群和打包操作所在机器 环境保持一致!不然运行jar包会出现很多异常
要使用idea开发Spark程序首先要安装Scala插件
进入idea主界面
在线安装:
选择Plugins
现在可以用idea来新建一个scala项目
New Project->Scala
由于项目已存在,所以不做操作,我的项目结构为:
演示本人其中一个Spark Example,RDDExample.scala
package com.jinfeng.spark.examples import org.apache.spark.{SparkConf, SparkContext} /** * Created by WangJinfeng on 2017/6/9. */ object RDDExample { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("RDD Example").setMaster("local") val sc = new SparkContext(conf) val rdd1 = sc.parallelize(1 to 9, 3) val rdd2 = rdd1.map(x => x * 2) rdd2.collect().foreach(println) } }
右键点击RUN/DUBUG
执行结果如下图所示:
遇到问题及解决方案:
问题:
解决方案:
选择Preferences,找到Java Compiler,将Target bytecode version 改为上述问题所需要的1.8即可。