在windows本地编写spark的wordcount

最近要用到spark，这里记录以下在windows本地搭建spark的词频统计的整个流程。首先明确一下版本，这里用的是hadoop-2.7.0版本，spark版本必须要与之对应，这里用的是下面这个，下载地址在这里http://spark.apache.org/downloads.html ，这里用的是scale ide，对应的scala版本是2.11.8,对应的jdk是1.8,好了废话不多说，直接进入正题。

1 .首先创建一个scale project，起名为SparkTest，当然这里随便起名，一路默认点击下去后点击finish。

2 .创建之后见下图

3 .这里需要导入之前下载的spark压缩包里面jars下面的所有jar包。

4 .这里考虑到为了以后方便使用，不采用创建lib文件夹的方式引入jar包，而是下面这种创建一个用户库的方式将所有jar包引入命名为一个单独的库的形式。

5 .右击项目，build-path—–>>选择configure path进入下面这个

6 .选择 add library，选择user library

7 .一路next下去，最后新建一个用户库，因为之前已经创建了Spark库，所以这里随便起个名就行

8 .之后在新创建的这个库名上选中add External Jars，添加外部的jar包，直接将之前压缩包下的jars下面的jar包全部拷贝过来，之后点击完成，以后用的时候直接选择这个user library库即可，非常方便

9 .接下来是编写wordcount测试代码进行测试，先创建一个txt文件，内容随便写

10 .接下来编写一个Scala Object文件进行执行，代码见下，这里都给上了注释

11 .执行该代码后见控制台输出下面内容表明成功

12 .以上是在编译工具搭建一个spark demo的例子，核心就是引入spark所需的jar包，另外这里附上加餐，有人喜欢在cmd命令下进行开发，那么只需要配置一下环境变量即可，具体见下图

13 .设置完后点击保存，之后进入cmd命令，输入spark-shell，需要等待一段时间，之后出现下面内容，表明环境变量配置成功

14 .以上是在cmd窗口上进入spark的方式，至此两种方式都已经介绍完了，over收工。