软件版本
- python 3.6.8 下载网址
- java 1.8.0_221 下载网址
- spark-2.4.4-bin-hadoop2.7.tgz 下载网址
- hadoop 2.7.6 下载网址
- winutils.exe (windows 需要) 下载网址
- scala 2.11.12 下载网址
环境变量配置
系统变量添加
JAVA_HOME: C:Program FilesJavajdk1.8.0_221(java 安装目录)
HADOOP_HOME:C:sparkhadoop-2.7.6 (hadoop解压目录)
SPARK_HOME: C:sparkspark-2.4.4-bin-hadoop2. (spark解压吗目录)
Path 中添加
(Python 安装目录)
(scala 安装目录)
%JAVA_HOME%in
%JAVA_HOME%jrein
%SPARK_HOME%in
%HADOOP_HOME%in
测试
Win+R, 输入cmd打开终端
java -version
python
scala
spark-shell
hadoop
pyspark