windows下搭建spark环境

0.前提

windows下搭建spark环境需要首先在本地安装JDK，spark支持的jdk版本为1.8及以上

1. 安装Scala

1.1. 下载Scala

下载地址

我安装的是Scala2.11.12版本

1.2. 配置环境变量

SCALA_HOME=C:\Users\ywq\soft\Scala
path=%SCALA_HOME%\bin;

1.3. 验证

# 查看版本号
scala-version
# 进入scala环境
scala

如果出现上图所示结果，说明Scala安装成功

2. 安装spark

2.1. 下载spark

下载地址

2.2. 配置环境变量

spark不需要安装，解压后配置path环境变量即可

path=C:\Users\ywq\Downloads\spark-2.4.0-bin-hadoop2.7\spark-2.4.0-bin-hadoop2.7\bin;

2.3. 验证spark是否能正常启动

spark-shell
# 在命令行输入以上命令，中间是没有空格的

出现上图说明spark安装成功

3. 安装hadoop

3.1. 下载

下载地址

• 注：这里要和spark中选择的hadoop保持一致，所以我的是hadoop2.7
  

3.2. 安装

解压即安装

3.3. 配置环境变量

HADOOP_HOME=E:\hadoop-2.7.2\hadoop-2.7.2
path=%HADOOP_HOME%\bin;

3.4. 安装hadoop winutils，

下载链接

选择你要的hadoop版本号，你只需要下载winutils.exe，然后拷贝到Hadoop目录下的bin文件夹中。（如果你的bin目录下已经有该文件，就不必再下载了）

3.5. 验证

以管理员身份打开cmd，运行spark-shell，如果遇到访问权限等错误的话，运行 winutils.exe chmod 777 \tmp\hive

以管理员身份打开cmd，运行spark-shell，你应该看到如下界面

最重要的，你要看到Spark context available as ‘sc’ (master = local[*], app id = local-1507235397368).字样

这时，你的spark环境已经搭建成功了！