m0_69542094的博客

原创 spark连接mysql报错--驱动问题py4j.protocol.Py4JJavaError: -com.mysql.jdbc.Driver

我首先检查了pyspark和spark的版本都是3.1.2，排除spark和pyspark版本不兼容的问题。但是运行代码还是报错，后面我把mysql驱动包复制到/root/anaconda3/lib/python3.8/site-packages/pyspark/jars，之后代码运行成功，写入数据到MySQL。这里呢是因为，我使用anaconda部署的python虚拟环境，在用pycharm连接的spark，用的是pysaprk，所以要把驱动包放到anaconda3下的pysaprk下的jar文件下。