关于Pyspark环境的配置

导语

这次是一个比较简单的测用例 仅共我自己的测试 ，在配置环境时没有用全局配置，只是单个项目测试 不具备通用性，只适合新手测试

准备工作

我的环境测试如下：

组件	版本
Pycharm	2021.2
java	open JDK 8
Spark	spark-3.1.2-bin-hadoop3.2
hadoop	hadoop-3.2
python	v3.9
winutils	v hadoop-3.0

注释：winutils 地址 https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin

开始步骤

全局配置：
1、把下载好的spark、hadoop、Java、python 配置好全局变量；具体方法自己百度下
局部配置：
1、解压文件 记住spark、hadoop的路径
2、在pycharm 中run ->Edit Configuration ->Environment variable -> + 添加文件路径
eg:
PYTHONUNBUFFERED=1;SPARK_HOME=C:\Users\ss\Documents\soft\spark-3.1.2-bin-hadoop3.2\spar