spark向mysql中写数据，报错不能连接mysql

最新推荐文章于 2025-02-23 00:00:00 发布

原创最新推荐文章于 2025-02-23 00:00:00 发布 · 424 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #mysql #大数据

文章讲述了在使用Spark从Hive读取数据并写入MySQL时遇到的驱动包版本不兼容问题。作者首先怀疑驱动版本问题，尝试将项目驱动降级到与数据库相同版本但未果。最终通过删除旧版本jar并替换为8.0.12版本驱动，成功解决了问题。

使用spark读取hive中数据，计算后将结果写入mysql，报错如下：
在这里插入图片描述
猜想可能是驱动包版本不兼容所致。
经检查，mysql数据库是8.0.12版本，而项目使用的驱动包是5.1.27版本。
<mysql.version>8.1.27</mysql.version>
修改pom文件中mysql驱动版本
<mysql.version>8.0.12</mysql.version>
打包执行，仍报之前的错误。
将$SPARK_HOME/jars/目录下mysql-connector-java-5.1.27.jar删除，上传mysql-connector-java-8.0.12.jar，解决问题。