pyspark使用graphframes报错

pyspark使用graphframes报错

本文主要介绍如何处理pyspark在使用graphframes时碰到的报错。通常，在pyspark下使用graphframe不成功的原因是由于没有在pyspark/jars中导入graphframe所依赖的的jar文件。这里不再对此原因做详细叙述。相关的jar可以从这里下载：https://spark-packages.org/package/graphframes/graphframes

原因： 再找完很多资料后，并且看了很多相关的解答，即使将相应的jar文件放入指定路径文件夹后依然报错。事实上这是由于所下载的pyspark包和graphframe库的jar文件不匹配所造成的的。（这里做一点小更新，spark已经升级到3.0版本）所以解决的关键是修改pyspark库的版本
解决步骤：

1.修改pyspark版本

搜索pyspark库的时候，我们可以看到，在左下方现实的版本是3.0.0

选择specify version, 将其改为2.4.6（当然，你