Spark 写出MySQL报错，java.sql.BatchUpdateException

最新推荐文章于 2024-09-07 15:25:25 发布

holomain

最新推荐文章于 2024-09-07 15:25:25 发布

阅读量1.2k

点赞数

分类专栏： spark mysql 文章标签： DataFrame MySQL twice

kill yak-shaving

本文链接：https://blog.csdn.net/qq_27882063/article/details/79904440

版权

spark 同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

mysql

2 篇文章 0 订阅

订阅专栏

spark DataFrame 写出到MySQL时报如下错误：

java.sql.BatchUpdateException: Column ‘name’ specified twice at sun.reflect

原因：写出的DataFrame 表结构和MySQL中创建的表结构不一致，
2个 DataFrame join 后的结果中有两列都是“name”列。

解决：修改DataFrame写出结构。核心代码如下：

    val res1: Dataset[Row] = studentInfoDF.join(stu_scoresDF, 
      studentInfoDF.col("name") === stu_scoresDF.col("name"))
      .filter(stu_scoresDF.col("score") > 80)

    res1.show(false) 

    import  spark.implicits._
    val out: Dataset[(String, Int, String)] = res1.map(row => (row.getAs[String](0),
      row.getAs[Int](1),
      row.getAs[String](3)))
    out.toDF("name","age","score").write.mode("append").jdbc(url,"good_stu",prop)