Window下的Spark开发环境配置

Window的Spark环境配置分三步：

1. Hadoop下载与配置

   下载：http://archive.apache.org/dist/hadoop/core/，比如hadoop-2.6.0版本

    配置：配置HADOOP_HOME到环境变量，cmd -> hadoop version命令查看是否配置成功。

    设置：hadoop-2.6.0\etc\hadoop\hadoop-env.cmd 中设置JAVA_HOME的路径。

2. Spark-hadoop下载与配置

    下载：http://spark.apache.org/downloads.html，比如spark-assembly-1.6.0-hadoop2.6.0版本。

     配置：idea中导入spark-1.6.0-bin-hadoop2.6\lib下的jar，主要是spark-assembly-1.6.0-hadoop2.6.0包。

3. Scala下载与配置

     下载：http://www.scala-lang.org/download/2.10.6.html，比如scala-2.10.6版本，解压安装即可。

      配置：idea的全局变量中Scala SDK的选择system的scala-2.10.6版本。

注意：hadoop, Spark-hadoop和Scala的版本必须配套使用！新建scala的maven项目时，pom.xml中scala的版本要改为2.10.6版本。