win10 系统 eclipse配置scala+spark开发环境

win10 系统 eclipse配置scala+spark开发环境

翻译  2017年09月27日 23:00:06

• 标签：
• win10 系统 eclipse配置sc

• 252

第一步：安装JDK　

　　（1）下载JDK(1.7以上版本)

　　　　  下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

　　（2）配置环境变量(以Windows为例)

             新增JAVA_HOME 变量，值：C:\Program Files\Java\jdk1.7.0_71
             新增CLASSPATH 变量，值：.;%JAVA_HOME%\lib
             增加PATH 变量，补充：;%JAVA_HOME%\bin

             进入cmd 界面测试JDK 是否安装成功：
             C:\Users\admin>java -version
             java version "1.7.0_71"
             Java(TM) SE Runtime Environment (build 1.7.0_71-b14)

第二步：安装Scala

　　（1）下载Scala(下载 Scala 包)

　　　　  下载地址(Scala 主页)：http://www.scala-lang.org/download/2.10.4.html 下载scala-2.10.4.msi

　　（2）下载完成后解压，增加PATH 变量

　　　　  比如解压目录是C:\scala\，不要放在C:\Program Files (x86)或者C:\Program Files 。然后将“C:\Program Files (x86)\scala\bin;”加到环境变量path中

             进入cmd 界面测试Scala 是否安装成功:
             C:\Users\admin>scala
             Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_7
             Type :help for more information.

第三步： 配置Spark环境变量

　　（1）下载Spark

　　　　  下载地址：http://spark.apache.org/downloads.html

　　　　  下载相应Hadoop对应的版本，比如spark-1.6.2-bin-hadoop2.6.tgz，spark版本是1.6.2，对应的hadoop版本是2.6

　　（2）下载完成后解压，配置Spark的环境变量(以Windows为例)

             新增SPARK_HOME 变量，值：C:\Apache Spark\spark-1.6.2-bin-hadoop2.6
             新增SPARK_CLASSPATH 变量，值：;C:\Apache Spark\spark-1.6.2-bin-hadoop2.6\lib\spark-assembly-1.6.2-hadoop2.6.0.jar;
             增加PATH变量，补充：;C:\Apache Spark\spark-1.6.2-bin-hadoop2.6\bin

第四步：安装Hadoop工具包

　　Spark是基于Hadoop之上的，运行过程中会调用相关Hadoop库，如果没配置相关Hadoop运行环境，会提示相关出错信息，虽然也不影响运行。Windows下开发Spark不需要在本地安装Hadoop，但是需要winutils.exe、hadoop.dll等文件。

　　（1）下载Windows下Hadoop工具包（分为32位和64位的），比如hadoop-2.6.0.tar.gz

　　　　  下载地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin
             　　　　　https://www.barik.net/archive/2015/01/19/172716/

　　（2）下载完成后解压，配置Hadoop的环境变量(以Windows为例)

　　　　  在本地新建一个hadoop目录，其中必须包含有bin目录，例如“D:\spark\hadoop-2.6.0\bin”，然后将winutil等文件放在bin目录下

　　　　  将相关库添加到系统Path变量中：D:\hadoop-2.6.0\bin；同时新建HADOOP_HOME变量，变量值为：D:\hadoop-2.6.0

第五步：安装Eclipse

　　在官网下载Eclipse，解压缩到本地后直接使用即可。

第六步：安装Eclipse Scala IDE插件

　　（1）下载Eclipse Scala IDE插件

　　　　  下载地址：Scala IDE(for Scala 2.10.X and Eclipse Juno\kepler) 有版本匹配限制 下载

                                   即：下载      For Scala 2.10.x 的zipfile文件

　　　　  　　　　　http://scala-ide.org/download/prev-stable.html

　　（2）安装Scala 插件

　　　　  1.将Eclipse Scala IDE插件中features和plugins两个目录下的所有文件拷贝到Eclipse解压后所对应的目录中。

　　　　  2.重新启动Eclipse，点击Eclipse右上角方框按钮，如下图所示，展开后点击“Other….”，查看是否有“Scala”一项，若有则可直接点击打开，否则进行下一步操作。

　　　　  3.在Eclipse中，依次选择“Help” –> “Install New Software…”，在弹出的对话框里填入

[html]  view plain  copy

1. http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site  

           ，并按回车键，可看到以下内容，选择Scala IDE for Eclipse 和Scala IDE for Eclipse development support 即可完成Scala 插件在               Eclipse上的安装(由于上一步已经将jar包拷贝到Eclipse中，安装很快，只是疏通一下)。

　　　　  安装完后，再操作一遍步骤2便可。