PySpark与开发环境的集成
PySpark 本地环境(Mac)自己在学习PySpark的时候遇到许多问题,下面来写一下自己所遇到的问题,配置过程中主要问题还是python2和python3直接的版本冲突比较多,spark2.3.2 自带的python环境是python2, 而本地环境是python31. Pycharm集成PySpark1.1 配置环境变量SPARK_HOME=/usr/local/spark # spark的环境变量PYTHONPATH=/usr/local/spark/python #
原创
2020-11-29 21:50:33 ·
737 阅读 ·
2 评论