【Spark】Spark六： Spark版本的WordCount

开发Spark WordCount的步骤

• 下载并配置Scala2.11.4
• 下载Scala版本的Eclipse，简称Scala IDE
• 下载Spark安装包，使用其中的开发Spark程序需要依赖的jar包
• 下载Spark源代码，以使jar包关联源代码
• 配置IDE环境
• 编写并编译源代码
• 导出jar包
• 提交SparkWordCount jar包到Spark服务器上运行，并查看运行结果

 

1. 下载并配置Scala2.11.4

http://www.scala-lang.org/download/2.11.4.html

 

下载scala-2.11.4.zip。解压后，设置Scala的环境变量

 

 

SCALA_HOME=C:\Scala_2.11.4
PATH=C:\Scala_2.11.4\bin；%PATH%

配置完成后，在命令行终端，输入scala -version可以查看Scala的版本

 

 

2. 下载安装Scala IDE(Eclipse)

 

http://downloads.typesafe.com/scalaide-pack/4.0.0.vfinal-luna-211-20141216/scala-SDK-4.0.0-vfinal-2.11-win32.win32.x86_64.zip

 

解压，运行eclipse。这个版本的Eclipse需要64为的JRE，所以，如果JAVA_HOME和PATH指向