Windows10安装spark（包括hadoop安装）

（作者：陈玓玏）

环境安装

命令行中输入java –version，看是否能正确输出版本信息，不能则需要安装，可以自己搜索一下Windows下java环境的安装。

Scala安装

下载地址：http://www.scala-lang.org/download/2.11.8.html

下载安装后配置路径，在环境变量的系统变量path中添加以下链接：

在命令行输入scala，能够输出版本信息即安装成功。

Spark安装

下载地址：http://spark.apache.org/downloads.html

我选择的版本是spark-2.3.2-bin-hadoop2.7，下载后解压，并把bin文件夹的路径添加到环境变量的系统变量path中，如下：

此时即可使用spark，在命令行输入spark-shell，结果如下：

（这个图是另一个版本的，主要是为了说明没安装hadoop时候存在的问题）

这一步可能出现一个问题，就是报“此时不应有 java jdk1.8.0_152”的错误，可能是环境变量中JAVA_HOME有不可识别字符，考虑更换一下jdk文件放置的路径，比如我把jdk从C:\Program Files (X86)换到了C:\Program Files，然后对应地修改JAVA_HOME就可以正常输入spark-shell了，最好是存放jdk的地址中都不要有空格。（参考文章：https://www.jianshu.com/p/ba908e9abe69 ）

此时的spark不是完整版的，因为还没有安装hadoop，所以是不能使用hadoop的功能，如果想要进一步提高使用效率，需要安装hadoop。

安装Hadoop

下载地址：http://hadoop.apache.org/releases.html
选择一个版本的Hadoop下载到本地，并解压，然后设置环境变量。这里的环境变量有些不一样，不仅要改path变量，还要添加一个HADOOP_HOME的变量。HADOOP_HOME设置为hadoop的根目录C:\Program Files\hadoop-2.7.7，path中添加C:\Program Files\hadoop-2.7.7\bin。

Hadoop安装还有一步，winutils下载安装：https://github.com/steveloughran/winutils，我是用git bash把这个文件克隆下来的，在git bash中输入：
git clone https://github.com/steveloughran/winutils.git
下载后的文件有可能不好找，那么路径可以这么找：

$ls  #查看git路径下有些什么文件
$cd winutils   #打开下载的winutils文件夹
$pwd   #查看文件夹的路径

找到这个路径后，在路径下找到对应版本的hadoop文件夹下的bin文件夹，替换你所使用的hadoop的bin文件夹，然后安装就完成了~

完成后输入spark-shell结果如下：

就不会提示winutils不能执行了。

可视化spark管理界面

输入以下网址即可查看：

使用pyspark交互
在命令行窗口中输入pyspark即可，结果如下：

在anaconda中使用pyspark

打开spyder，在菜单栏中找到tools-PYTHONPATH_manager，添加spark下的python路径和python/lib路径，如下图：

解压python\lib路径下的py4j-0.10.7-src.zip压缩文件到当前文件夹，否则会报找不到py4j的错，然后重启spyder即可使用。

在运行时如果报错sc没有被定义。
程序中要加入下面的一段即可。

from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setAppName("test")
sc = SparkContext(conf=conf)

参考资料：
1、 https://blog.csdn.net/songhaifengshuaige/article/details/79480491