【spark】win10 pyspark3.5.1 安装超级简单

下载地址：https://spark.apache.org/downloads.html

下载完成：

复制文件到自己的路径下，路径最好不要有中文、空格；
解压tgz文件：

修改环境变量：

创建SPARK_HOME：
D:\software_download\spark-3.5.1-bin-hadoop3
(根据自己安装的位置)

Path添加：%SPARK_HOME%\bin

PYSPARK_PYTHON添加一个变量，变量值填上自己的python解释器的路径

验证：

退出：

quit()

启动spark-shell

http://127.0.0.1:4040/jobs/

报错：

 Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems

原因是因为hadoop问题，可以参考：https://blog.csdn.net/shulianghan/article/details/132042385
Hadoop安装：
https://blog.csdn.net/lvoelife/article/details/133349627

这个文章也不错：https://blog.csdn.net/qq_37067752/article/details/131210857