在windows下spark的环境搭建步骤如下:
-
下载 jdk-8u131-windows-x64.exe。若安装路径为E:\Java\,则增加如下的环境变量:
JAVA_HOME=E:\Java\jdk1.8.0_131
CLASSPATH=.;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\bin;
PATH中增加%JAVA_HOME%\bin -
下载最新版scala安装包scala-2.12.8.msi,若安装路径为E:\scala,则增加环境变量E:\scala\bin;
-
下载 spark执行体spark-2.4.3-bin-hadoop2.7.tgz,若解压路径为E:\spark-2.4.3-bin-hadoop2.7,则增加环境变量E:\spark-2.4.3-bin-hadoop2.7\bin;
-
下载 hadoop-2.7.3.tar.gz,若解压路径为E:\hadoop-2.7.3,则增加环境变量HADOOP_HOME=E:\hadoop-2.7.3和%HADOOP_HOME%\bin