centos7 在jupyter-notebook 使用pyspark

本文讲述了在CentOS7系统下,如何配置Jupyter Notebook以便成功使用Pyspark。在尝试多种方法,如修改PYTHONPATH、更换Spark和Anaconda版本后,最终通过使用Spark2.2和Anaconda3-4.2.0的组合,解决了导入Pyspark失败的问题,并提供了相关资源链接以供参考。
摘要由CSDN通过智能技术生成

发布文章 昨天好不容易可以在centos上使用jupyter-notebook,但是在代码块写入import pyspark时却提示无模块,
今天看到一篇博客,原来是没有配置/etc/profile中PYTHONPATH
使用jupyter-notebook --allow-root:
http://blog.51cto.com/175779/2045728

其中py4j-0.10.7-src.zip解压命令参考博客:
https://blog.csdn.net/wxyjuly/article/details/79398559

jupyter-notebook使用pyspark参考博客:
https://blog.csdn.net/j790675692/article/details/52300083

================================================
分割线

上面的方法只是成功可以导入pyspark,然而并没有啥用。当输入sc.textFile()时仍旧报错。

当使用jupyter-no

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值