pyspark使用graphframes报错
本文主要介绍如何处理pyspark在使用graphframes时碰到的报错。通常,在pyspark下使用graphframe不成功的原因是由于没有在pyspark/jars中导入graphframe所依赖的的jar文件。这里不再对此原因做详细叙述。相关的jar可以从这里下载:https://spark-packages.org/package/graphframes/graphframes
原因: 再找完很多资料后,并且看了很多相关的解答,即使将相应的jar文件放入指定路径文件夹后依然报错。事实上这是由于所下载的pyspark包和graphframe库的jar文件不匹配所造成的的。(这里做一点小更新,spark已经升级到3.0版本)所以解决的关键是修改pyspark库的版本
解决步骤: