jupyter notebook搭建pyspark

最新推荐文章于 2024-07-12 11:20:49 发布

是女汉子不是女汉子

最新推荐文章于 2024-07-12 11:20:49 发布

阅读量363

点赞数

分类专栏： Python 文章标签： pysaprk jupyter

本文链接：https://blog.csdn.net/tayhh/article/details/103252024

版权

这篇博客介绍了如何在jupyter notebook中搭建pyspark环境，特别指出python3.6不兼容，推荐使用Anaconda切换到python2.7版本。详细配置包括环境变量设置、conda环境管理和pyspark提交参数等。

摘要由CSDN通过智能技术生成

python3.6不支持pyspark, 好在用的是Anaconda这种神器，可以随意切换python版本。因为我的Spark是1.6的，所以python2.7应该是可以的。

首先

conda create -n py27 python=2.7 anaconda
source activate py27

conda install python=2.7
就将当前的python环境切换到了2.7（其实这步不做也不影响Pyspark的运行）， 然后修改

/usr/local/share/jupyter/kernels/pyspark/kernel.json

{
"display_name": "PySpark",
"language": "python",
"argv": [ "/home/.../anaconda3/envs/py27/bin/python", "-m", "ipykernel", "-f", "{connection_file}" ],
"env": {
"SPARK_HOME": "/.../spark/spark-1.6.0-bin-hadoop2.6/",
"PYSPARK_PYTHON": "/.../anaconda3/envs/py27/bin/python",
"PYSPARK_DRIVER_PYTHON": "ipython2",
"PYTHONPATH": "/.../spark/spark-1.6.0-bin-hadoop2.6/python/:/.../spark/sp