最终成的配置方法如下:1.安装好JDK SPARK并设置环境变量。
2.安装号spyder
3.启动spyder
在 tools ==> pythonpath manager 中加入如下2个路径
/opt/spark/python
/opt/spark/python/lib
将/opt/spark 替换成自己的spark实际安装目录
4.在SPARK_HOME/python/lib 下会有一个类似py4j-0.9-src.zip的压缩文件
将其解压到当前目录下(SPARK_HOME/python/lib),否则会报错 找不到py4j
重启spyder后就可以正常使用了。
5.在运行时如果报错sc没有被定义。
程序中要加入下面的一段即可。
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setAppName("test")
sc = SparkContext(conf=conf)
如何在Spyder中运行spark
最新推荐文章于 2023-01-28 10:36:01 发布