mac下使用spyder运行pysprk详解
mac下可以通过terminal执行./pyspark运行pyspark,但是很多时候我们希望在一些诸如spyder之类的IDE中运行pyspark。
但是,我们直接通过
import pyspark
会提示错误:ImportError: No module named pyspark
具体使用方法如下:
1. 添加PYTHONPATH环境变量并使之生效
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
source ~/.bashrc
2. 移动到spyder目录下,复制一份文件
如:
cd /anaconda/bin
cp spyder spyder.py
3. 在spyder.py的目录下启动spyder.
spark-submit spyder.py
此时,我们已经可以启动spyder的IDE了。
在该IDE下,我们可以通过
import pyspark
来正常引入pyspark。
但是,在使用sc.*等命令时,系统会抛出异常。
NameError: name 'sc' is not defined
原因时因为在spark-shell后ÿ