windows下安装spark并配置环境变量

一、下载
Spark下载地址：http://spark.apache.org/downloads.html
在这里使用2.3.3版本

点击下图的连接下载

不需要安装，直接解压放到你想要放到的目录底下

二、配置环境变量

添加系统环境变量：

SPARK_HOME

在系统环境变量Path增加：%SPARK_HOME%\bin

在控制台输入一下命令：spark-shell
注意spark-shell之间是没有空格的，千万不要输错了。

报错了
这里主要是因为Spark是基于Hadoop的，所以这里也有必要配置一个Hadoop的运行环境。

安装Hadoop的运行环境后再次重新打开控制台输入spark-shell

如果还有以上错误日志，那么请找到你的hadoop\bin目录找下里面有没有winutils.exe文件，如果没有的话，我们需要去下载。
winutils.exe下载地址https://github.com/steveloughran/winutils
进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。

 

下载好之后我们把它放到C:\hadoop\spark-2.3.3-bin-hadoop2.7 里面，确保该目录中有winutils.exe文件。