IntelliJ安装本地Spark出现的问题

Spark http://spark.apache.org/downloads.html
Jdk http://www.oracle.com/technetwork/java/javase/archive-139210.html
Scala http://www.scala-lang.org/download/all.html
Intellij IDEA https://www.jetbrains.com/idea/download/#section=windows

SPARK_HOME= D:\工具\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.6
说明：“D:\工具\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.6”是我本地Spark解压的路径。
SCALA_HOME= D:\工具\scala-2.10.5\scala-2.10.5
说明：“D:\工具\scala-2.10.5\scala-2.10.5”是我本地Scala解压路径。
最后在path变量添加：“;%JAVA_HOME%\bin;%SPARK_HOME%\bin;%SCALA_HOME%\bin”

注意：Scala的msi安装文件与zip等文件的区别：
msi安装文件安装后会自动的在path变量中添加bin目录，但仍然需要设置SCALA_HOME变量；zip文件安装后不会自动添加bin目录。

【导入spark包】

在项目页“File” -> “project structure” -> “Libraries”, 点“+”，选“java”，找到spark-assembly-1.2.0-hadoop2.4.0.jar导入，这样就可以编写spark的scala程序了

问题是我在spark文件夹中根本没有看到spark-assembly-*.jar？？？？？

后来才发现因为spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-.jar已经不存在。原来的jar包分解为：jars/.jar

所以导入的时候直接导入spark文件夹中的所有jar包就可以了。

导入Spark包后运行程序时报错

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
	at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1767)
	at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:75)
	at org.apache.spark.SparkConf.<init>(SparkConf.scala:70)
	at org.apache.spark.SparkConf.<init>(SparkConf.scala:57)
	at test$.<init>(test.scala:3)
	at test$.<clinit>(test.scala)
	at test.main(test.scala)

原因是Spark中的scala版本和系统安装的scala不相同

系统中的scala版本
Spark中的scala版本

你只需要安装·和spark对应版本的scala就好了