Spark——Windows本地运行环境部署

四种环境配置

jdk、hadoop、scala、spark

一 、jdk环境配置

链接: https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
说明:这里下载了jdk1.8版本，否则后期会出现版本不兼容的问题
结果展示
打开cmd，输入java -version,出现如下界面，即jdk配置成功！

二、Hadoop环境配置

链接: https://hadoop.apache.org/releases.html

说明：这里下载了Hadoop3.1版本

三、Scala环境配置

链接: https://www.scala-lang.org/download/
说明：这里下载了2.12.17版本，详情版本对应关系请参考：https://mvnrepository.com/artifact/org.apache.spark/spark-sql

结果展示
打开cmd，输入scala,出现如下界面，即scala环境配置成功！

四、Spark环境配置

链接: http://spark.apache.org/downloads.html
说明：这里下载了Spark3.1.3版本，官网说明了spark版本与对应的scala版本关系，如下所示：

最终结果展示
打开cmd，输入java -version,出现如下界面，即jdk配置成功！

五、总结

1.下载时一定注意各版本兼容性的问题，否则会出现java.lang.reflect.InaccessibleObjectException等异常，或者输入spark-shell发生闪退等问题，究其原因绝大部分是版本不对应的问题。
2.下载各组件时，注意下载windows版本的以.exe结尾的压缩包，解压到相应目录，然后配置到系统的环境变量当中，四种组件解压、配置环境变量方法均一致，如若不懂可以自行简单学习一下。