Spark环境搭建-Windows

Spark环境搭建-Windows

一、搭建环境简介。

1.1、相关材料的准备

• 以下是我们所要用到的环境，所有的安装包都可以到官网下载，也可以私信我的。
Python使用官方版的python- 3. 7. 2 版本
JDK使用 1. 8 版本
Scala使用 2. 12 版本
Hadoop使用 2. 7. 3 版本（Windows上搭建需要安装hadoop）
Spark使用 2. 3. 3 版本（ 2. 4. 0 版本在Windows上有问题，不要用）

二、Python的安装与配置

2.1、安装Python

点击Python的安装包开始安装，又两种选择，一种是安装在默认路径下，一种可以自行选择安装路径，我们选第二种。也可以勾选底下的Add Python 3. 7 to Path，勾选后会帮你自动配置环境变量。

这里是询问你要安装那些功能，直接点击Next。

这里可以点击 Browser 选择安装的路径，自己新建一个Python目录来安装，选择完毕后点击 Install 按钮继续。尽量不要把软件安装在C盘，这里是因为虚拟机只有一个盘，所以才放C盘。

出现这个页面即为安装成功，直接关掉该窗口。

2.2、配置