如何在Spyder中运行spark

最终成的配置方法如下:1.安装好JDK SPARK并设置环境变量。
2.安装号spyder
3.启动spyder
在 tools ==> pythonpath manager 中加入如下2个路径
/opt/spark/python
/opt/spark/python/lib
将/opt/spark 替换成自己的spark实际安装目录
4.在SPARK_HOME/python/lib 下会有一个类似py4j-0.9-src.zip的压缩文件
将其解压到当前目录下(SPARK_HOME/python/lib),否则会报错 找不到py4j
重启spyder后就可以正常使用了。

5.在运行时如果报错sc没有被定义。
程序中要加入下面的一段即可。
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setAppName("test")
sc = SparkContext(conf=conf)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值