win10配置安装spark-3.0.2-bin-hadoop2.7踩坑上岸

---

前言

一、软件分享

这里面是hadoop2.7.7所需的文件，其中JDK是1.8.201版本。
链接：https://pan.baidu.com/s/1Bbk9CqTSAmlLwCuXD62LBw
提取码：878s
复制这段内容后打开百度网盘手机App，操作更方便哦

spark去官网下载基于2.7版本的即可http://spark.apache.org/downloads.html

二、经验分享

1.环境配置

将Java、hadoop、spark相应的环境变量配置好，如上图所示。

2.解决出错

该异常信息是由于hadoop导致的（这个图是借用其他人安装经验的）错误原因就是没有winutils.exe，把百度云分享的另外两个文件（winutils.exe、hadoop.dll）放在hadoop安装的bin目录下即可。

此时继续spark-shell进入spark命令行交互模式：

这个图也是借用他人的，但是出现这些内容，代表安装成功。

2.测试Pyspark API

这里是直接安装的pyspark

新建python测试文件

from pyspark import SparkConf
from pyspark.sql import SparkS