原文链接:https://blog.csdn.net/sinat_26599509/article/details/51895999
方法一
使用findspark
使用pip安装findspark:pip install findspark;
在py文件中引入findspark:>>> import findspark;
>>> findspark.init();
导入你要使用的pyspark库:>>> from pyspark import *。
优点:简单快捷
缺点:治标不治本,每次写一个新的Application都要加载一遍findspark
方法二
把预编译包中的Python库文件添加到Python的环境变量中
export SPARK_HOME=你的PySpark目录
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
优点:一劳永逸
缺点:对于小白可能不太了解环境变量是什么