Spark环境搭建【Windows系统】

Spark环境搭建

本文介绍Win10系统的Spark的安装环境，记录Spark学习的点滴，Spark新手，如有错误欢迎指正。

1.JDK安装

jdk1.8 下载地址 找到自己系统对应的jdk版本，下载即可。

设置过程略，设置完成后验证下，如下图即安装成功。

至此JDK安装结束。

2.Scala安装

官网下载地址 找到要下载的版本，本文安装版本为：2.11.12

下载后安装msi，默认会自动设置Scala环境变量，如未设置自己手动设置即可，验证如下图即安装完成。

如环境变量设置后未出现上图成功效果，重启电脑后再试。

3.Spark安装

官网下载，找到对应版本，本文安装版本为：2.4.6

我们下载的是预编译版本，故下载后直接使用即可。

建议设置Spark的环境变量，这样使用spark-shell比较方便。
运行spark-shell，会有如下错误，是因为Spark是基于Hadoop的，所以需要安装Hadoop的运行环境。

4.Hadoop安装

官网下载 因为我安装的Spark是Hadoop2.6的，所以找到2.6.5版本，进行下载。

安装好后设置Hadoop的环境变量，再运行spark-shell，如果依然找不到winutils.exe，去GitHub下载 winutils 相应版本的exe文件，放在hadoop/bin目录下。

再次运行spark-shell可看到成功信息如下图

UI 页面

至此，win10系统下的Spark运行环境搭建完成。