Spark+Scala+intellij在win7下开发环境配置

Spark+Scala+intellij在win7下开发环境配置

1、软件安装（根据系统下载对应版本）

     （1）、下载安装intellij

                官网：https://www.jetbrains.com/idea/

     （2）、下载安装JDK

                 官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

                 环境配置：

                 新建JAVA_HOME 添加D:\Program Files\Java\jdk1.8.0_144

                 新建CLASSPATH 添加D:\Program Files\Java\jdk1.8.0_144\lib

                 添加D:\Program Files\Java\jdk1.8.0_144\bin;D:\Program Files\Java\jdk1.8.0_144\jre\bin; 到Path里

                 

     （3）、下载安装scala，本人安装的是scala2.11.8（与spark里的scala保持一致）

                 官网：http://www.scala-lang.org/

                 添加 D:\scala\bin  到环境变量Path里

      （4）、下载安装spark-2.1.0-bin-hadoop2.4

                 官网：http://spark.apache.org/

                 添加 D:\spark-2.1.0-bin-hadoop2.4\bin 到环境变量Path里

      （5）、下载安装Git（后面介绍maven编译spark源码用到）

                 官网：https://git-scm.com/download/win

                  添加 D:\Program Files\Git\bin 到环境变量Path里

       （6）下载hadoop，解压后添加到环境变量

2、intellij 配置

       （1）、打开intellij，安装scala插件后重启intellij

          

     

       （2）、新建工程

          

          

          完成后等待一段时间，sbt会自动下载相应的jar包及相关文件

  

        （3）、添加spark到intellij

           菜单File->Project Structure     

   

           将   D:\spark-2.1.0-bin-hadoop2.4\jars添加进来，到此配置结束，可以在src->main->scala先创建object或class