windows下spark的安装

windows下spark的安装

首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。

选择的环境如下：
jdk1.8+scala2.10.2+hadoop2.7.4+spark2.4.4

一、 scala安装

scala安装包下载：
链接：https://pan.baidu.com/s/1HLsFBhXWazuKxGpgF8xP1Q
提取码：g0zi

安装后cmd输入scala，出现如下截图：

说明安装成功。
二、 hadoop安装

Hadoop安装包下载：
链接：https://pan.baidu.com/s/1yStRoGP9mDcqBjEufSIbQg
提取码：l6yf

下载后直接解压，然后配置环境变量（路径不能有空格或者中文）

HADOOP_HOME
D:\Soft\hadoop-2.7.4

path
D:\Soft\hadoop-2.7.4\bin

winutils.exe下载：
链接：https://pan.baidu.com/s/1QKkKXquBcnlHTfn5dvL21w
提取码：nuz6

解压后将文件放入hadoop下的bin目录里面

三、 Spark安装

Spark安装包下载：
链接：https://pan.baidu.com/s/1yQiyFPj62IhLNZUULAdGmA
提取码：na7h

下载后解压就行，然后配置环境变量（路径不能有空格或者中文）。

SPARK_HOME
D:\Soft\Spark\spark-2.4.4-bin-hadoop2.7

path
D:\Soft\Spark\spark-2.4.4-bin-hadoop2.7\bin

四、 验证
在cmd中输入spark-shell命令

出现上图，说明安装成功