Spark环境搭建【Windows系统】
Spark环境搭建
本文介绍Win10系统的Spark的安装环境,记录Spark学习的点滴,Spark新手,如有错误欢迎指正。
1.JDK安装
jdk1.8 下载地址 找到自己系统对应的jdk版本,下载即可。
设置过程略,设置完成后验证下,如下图即安装成功。
至此JDK安装结束。
2.Scala安装
官网下载地址 找到要下载的版本,本文安装版本为:2.11.12
下载后安装msi,默认会自动设置Scala环境变量,如未设置自己手动设置即可,验证如下图即安装完成。
如环境变量设置后未出现上图成功效果,重启电脑后再试。
3.Spark安装
官网下载,找到对应版本,本文安装版本为:2.4.6
我们下载的是预编译版本,故下载后直接使用即可。
建议设置Spark的环境变量,这样使用spark-shell比较方便。
运行spark-shell,会有如下错误,是因为Spark是基于Hadoop的,所以需要安装Hadoop的运行环境。
4.Hadoop安装
官网下载 因为我安装的Spark是Hadoop2.6的,所以找到2.6.5版本,进行下载。
安装好后设置Hadoop的环境变量,再运行spark-shell,如果依然找不到winutils.exe,去GitHub下载 winutils 相应版本的exe文件,放在hadoop/bin目录下。
再次运行spark-shell可看到成功信息如下图
UI 页面
至此,win10系统下的Spark运行环境搭建完成。