一、下载
Spark下载地址:http://spark.apache.org/downloads.html
在这里使用2.3.3版本
点击下图的连接下载
不需要安装,直接解压放到你想要放到的目录底下
二、配置环境变量
添加系统环境变量:
SPARK_HOME
在系统环境变量Path增加:%SPARK_HOME%\bin
在控制台输入一下命令:spark-shell
注意spark-shell之间是没有空格的,千万不要输错了。
报错了
这里主要是因为Spark是基于Hadoop的,所以这里也有必要配置一个Hadoop的运行环境。
安装Hadoop的运行环境后再次重新打开控制台输入spark-shell
如果还有以上错误日志,那么请找到你的hadoop\bin目录找下里面有没有winutils.exe文件,如果没有的话,我们需要去下载。
winutils.exe下载地址https://github.com/steveloughran/winutils
进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。
下载好之后我们把它放到C:\hadoop\spark-2.3.3-bin-hadoop2.7 里面,确保该目录中有winutils.exe文件。