第一步:安装JDK
(1)下载JDK(1.7以上版本)
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
(2)配置环境变量(以Windows为例)
新增JAVA_HOME 变量,值:C:\Program Files\Java\jdk1.7.0_71
新增CLASSPATH 变量,值:.;%JAVA_HOME%\lib
增加PATH 变量,补充:;%JAVA_HOME%\bin
进入cmd 界面测试JDK 是否安装成功:
C:\Users\admin>java -version
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b14)
第二步:安装Scala
(1)下载Scala(下载 Scala 包)
下载地址(Scala 主页):http://www.scala-lang.org/download/2.10.4.html 下载scala-2.10.4.msi
(2)下载完成后解压,增加PATH 变量
比如解压目录是C:\scala\,不要放在C:\Program Files (x86)或者C:\Program Files 。然后将“C:\Program Files (x86)\scala\bin;”加到环境变量path中
进入cmd 界面测试Scala 是否安装成功:
C:\Users\admin>scala
Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_7
Type :help for more information.
第三步: 配置Spark环境变量
(1)下载Spark
下载地址:http://spark.apache.org/downloads.html
下载相应Hadoop对应的版本,比如spark-1.6.2-bin-hadoop2.6.tgz,spark版本是1.6.2,对应的hadoop版本是2.6
(2)下载完成后解压,配置Spark的环境变量(以Windows为例)
新增SPARK_HOME 变量,值:C:\Apache Spark\spark-1.6.2-bin-hadoop2.6
新增SPARK_CLASSPATH 变量,值:;C:\Apache Spark\spark-1.6.2-bin-hadoop2.6\lib\spark-assembly-1.6.2-hadoop2.6.0.jar;
增加PATH变量,补充:;C:\Apache Spark\spark-1.6.2-bin-hadoop2.6\bin
第四步:安装Hadoop工具包
Spark是基于Hadoop之上的,运行过程中会调用相关Hadoop库,如果没配置相关Hadoop运行环境,会提示相关出错信息,虽然也不影响运行。Windows下开发Spark不需要在本地安装Hadoop,但是需要winutils.exe、hadoop.dll等文件。
(1)下载Windows下Hadoop工具包(分为32位和64位的),比如hadoop-2.6.0.tar.gz
下载地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin
https://www.barik.net/archive/2015/01/19/172716/
(2)下载完成后解压,配置Hadoop的环境变量(以Windows为例)
在本地新建一个hadoop目录,其中必须包含有bin目录,例如“D:\spark\hadoop-2.6.0\bin”,然后将winutil等文件放在bin目录下
将相关库添加到系统Path变量中:D:\hadoop-2.6.0\bin;同时新建HADOOP_HOME变量,变量值为:D:\hadoop-2.6.0
第五步:安装Eclipse
在官网下载Eclipse,解压缩到本地后直接使用即可。
第六步:安装Eclipse Scala IDE插件
(1)下载Eclipse Scala IDE插件
下载地址:Scala IDE(for Scala 2.10.X and Eclipse Juno\kepler) 有版本匹配限制 下载
即:下载 For Scala 2.10.x 的zipfile文件
http://scala-ide.org/download/prev-stable.html
(2)安装Scala 插件
1.将Eclipse Scala IDE插件中features和plugins两个目录下的所有文件拷贝到Eclipse解压后所对应的目录中。
2.重新启动Eclipse,点击Eclipse右上角方框按钮,如下图所示,展开后点击“Other….”,查看是否有“Scala”一项,若有则可直接点击打开,否则进行下一步操作。
3.在Eclipse中,依次选择“Help” –> “Install New Software…”,在弹出的对话框里填入
http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site
,并按回车键,可看到以下内容,选择Scala IDE for Eclipse 和Scala IDE for Eclipse development support 即可完成Scala 插件在 Eclipse上的安装(由于上一步已经将jar包拷贝到Eclipse中,安装很快,只是疏通一下)。
安装完后,再操作一遍步骤2便可。