软件版本
- python 3.6.8 下载网址
- java 1.8.0_221 下载网址
- spark-2.4.4-bin-hadoop2.7.tgz 下载网址
- hadoop 2.7.6 下载网址
- winutils.exe (windows 需要) 下载网址
- scala 2.11.12 下载网址
环境变量配置
系统变量添加
JAVA_HOME: C:\Program Files\Java\jdk1.8.0_221(java 安装目录)
HADOOP_HOME:C:\spark\hadoop-2.7.6 (hadoop解压目录)
SPARK_HOME: C:\spark\spark-2.4.4-bin-hadoop2. (spark解压吗目录)
Path 中添加
(Python 安装目录)
(scala 安装目录)
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin
%SPARK_HOME%\bin
%HADOOP_HOME%\bin
测试
Win+R, 输入cmd打开终端
java -version
python
scala
spark-shell
hadoop
pyspark