【转】两种方法：将PySpark导入Python

原文链接：https://blog.csdn.net/sinat_26599509/article/details/51895999

方法一

使用findspark
使用pip安装findspark：pip install findspark；
在py文件中引入findspark：>>> import findspark；
>>> findspark.init()；
导入你要使用的pyspark库：>>> from pyspark import *。

优点：简单快捷
缺点：治标不治本，每次写一个新的Application都要加载一遍findspark

方法二

把预编译包中的Python库文件添加到Python的环境变量中
export SPARK_HOME=你的PySpark目录
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优点：一劳永逸
缺点：对于小白可能不太了解环境变量是什么