在Jupyter上完成spark作业时遇到这个错误了,最后发现是spark和pyspark 版本不一样导致的。
终端输入 spark-shell 或者 pyspark 启动spark,可以看到我的spark版本是3.0.3。
在终端输入 pip list 回车,找到pyspark,下图是我升级后的版本;原本是2点多的版本。
查看后发现spark和pyspark 版本不一样。
把pyspark 版本升级为spark一样的版本,在终端输入:
# 可以根据自己的spark版本进行修改
pip install pyspark==3.0.3