window本地搭建spark测试环境！

本篇文章也是我参照着网上和自己的一些搭建过程来总结的一些步骤，小白新手大佬勿喷。希望分享一下自己的一下成长过程每天记录一点平常做过的一些事情。

一 . 首先我们安装一个软件我们肯定要有它的安装包，我给个网站Apache的一个资源库：http://archive.apache.org/dist/spark/spark-2.2.2/ 这个是下载spark2.2.2版本的，这个版本需要jdk1.8 和 scala 2.11.X 版本。

还有就是这个网站我也想推荐给大家 http://archive.apache.org/dist/ 这个网站里面有Apache的所有开源项目的下载，大家开源收藏一下。

下面开始我们的整体搭建spark环境，首先我们需要下载我上面网站的压缩包spark-2.2.2-bin-hadoop2.7.tgz这个就是安装包，解压出来就可以用，然后spark-2.2.2.tgz是原码包，可以下载下来看看原码，加载到开发环境可以做开发测试。首先就是解压spark-2.2.2-bin-hadoop2.7.tgz到一个路径下我这里就解压到（F:\spark-2.2.2-bin-hadoop2.7），这样我们就可以直接打开用了嘛？ 我们试一下进入F:\spark-2.2.2-bin-hadoop2.7\spark-2.2.2-bin-hadoop2.7\bin 然后打开spark-shell.cmd 这时候你应该会弹出cmd，然后闪退。
这个原因就是你没有配置环境变量和安装你的前置环境，我之前也提到运行spark需要jdk和scala环境，所以我们需要安装jdk1.8和scala2.11以上的版本，下载jdk和scala，这里我就不多说，直接去官网下载对应的版本，然后一键安装，最后配置环境变量，这里一定记得配置JAVA_HOME和SCALA_HOME 两个环境变量，然后再配置到path上，不然运行spark-shell.cmd 也会闪退的。
最后还有一个重要的环境需要安装就是hadoop的本地环境，也是到我刚刚给的http://archive.apache.org/dist/ 找到hadoop的安装包下载然后解压，但是一定要记得下载2.7版本的hadoop，这是因为你刚刚下载是spark-2.2.2-bin-hadoop2.7.tgz这个 所以它名字上就写了必须哪个版本的hadoop，下载解压后当然也是环境变量的配置，记得也要配置HADOOP_HONE这个环境变量，然后再添加到path下，我用图说明一下：

这上面三个图 就是我配置的 scala，jdk，hadoop，和spark的环境变量，记得都要配HOME环境再添加到path上去，还有前置环境的版本不要搞错了，jdk1.8，scala2.11，和hadoop2.7.
下面我们就完成所有的配置和安装了，你现在可以不用鼠标点spark-shell.cmd （文件在F:\spark-2.2.2-bin-hadoop2.7\spark-2.2.2-bin-hadoop2.7\bin下）运行了，你可以纯键盘启动本地spark环境，按下window键，输入cmd，然后输入spark-shell完成启动，当然 你还有输入 color fc 改变cmd的颜色装一下大神都是没有问题的。
下面是我运行成功的案例：

我这顺便提供你一个spark运行的测试代码：
sc.textFile(“E:/data/date.log”).flatMap(.split(" ")).map((, 1)).reduceByKey(+).foreach(println)
当然了这个E:/data/date.log路径下的文件 你自己去编一个就完事了嘛！
给你一个测试文件里面的内容复制我下面的数据到文件里面就可以了：
hadoop 123 spark 123 chen 12 jin 234 hadoop 223 223 556
就是这样用空格隔开每个数据就可以，测试代码就是统计单词个数很简单的一个demo
谢谢大家来浏览 欢迎大家提问交流，我是蛋蛋淡淡定