关于Pyspark环境的配置

导语

这次是一个比较简单的测用例 仅共我自己的测试 ，在配置环境时没有用全局配置，只是单个项目测试 不具备通用性，只适合新手测试

准备工作

我的环境测试如下：

组件	版本
Pycharm	2021.2
java	open JDK 8
Spark	spark-3.1.2-bin-hadoop3.2
hadoop	hadoop-3.2
python	v3.9
winutils	v hadoop-3.0

注释：winutils 地址 https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin

开始步骤

全局配置：
1、把下载好的spark、hadoop、Java、python 配置好全局变量；具体方法自己百度下
局部配置：
1、解压文件 记住spark、hadoop的路径
2、在pycharm 中run ->Edit Configuration ->Environment variable -> + 添加文件路径
eg:
PYTHONUNBUFFERED=1;SPARK_HOME=C:\Users\ss\Documents\soft\spark-3.1.2-bin-hadoop3.2\spark-3.1.2-bin-hadoop3.2;PYTHONPATH=C:\Users\ss\Documents\soft\spark-3.1.2-bin-hadoop3.2\spark-3.1.2-bin-hadoop3.2\python;JAVA_HOME=C:\Users\ss\Documents\soft\openlogic-openjdk-8u292-b10-windows-x64\openlogic-openjdk-8u292-b10-windows-64;HADOOP_HOME=C:\Users\ss\Documents\soft\hadoop-3.2\spark-3.1.2-bin-hadoop3.2;PYSPARK_PYTHON=python
注意： PYSPARK_PYTHON=python 还是需要注意下可以解决 Python worker failed to connect back 这个问题 解决路径：https://stackoverflow.com/questions/53252181/python-worker-failed-to-connect-back
3、把下载的winutils.exe 放到你下载的$HADOOP_HOME/bin/ 下面
4、引入pyspark 的lib 在pycharm的file -> setting ->Project Structure -> 弹窗的+ Add Content Root 把 $SPARK_HOME/python/lib 下面
5、现在开始编写的pyspark吧