scala样例类使用时遇到的小问题

最新推荐文章于 2021-08-08 22:01:37 发布

白菜码弟

最新推荐文章于 2021-08-08 22:01:37 发布

阅读量342

点赞数

文章标签：大数据 scala

本文链接：https://blog.csdn.net/weixin_44964846/article/details/108876806

版权

博客讲述了在使用 Spark SQL 将数据写入 MySQL 数据库时遇到的 `NoSuchMethodError` 异常。错误原因是由于同包下存在同名样例类导致系统混淆。解决方法包括将样例类放入单独的类中以提高优先级，或者为样例类选择一个独特的名称，确保在使用时能正确引用。通过这个案例，读者可以了解到如何避免在编程中遇到类似的问题。

摘要由CSDN通过智能技术生成

样例类使用中的小问题：

mport org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{Dataset, SaveMode, SparkSession}

object SparkSQL11_MySQL_Write {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("SparkSQLTest").setMaster("local[*]")
    val spark = SparkSession.builder().config(conf).getOrCreate()

    import spark.implicits._

    //.准备数据
    val rdd: RDD[User] = spark.sparkContext.makeRDD(List(User(3008,"zhangsan"),User(3009,"lisi")))

    val ds: Dataset[User] = rdd.toDS()

    ds.write
        .format("jdbc")
        .option("url","jdbc:mysql://hadoop105:3306/gmall")
        .option("user","root")
        .option("password","123456")
        .option("dbtable","user_info")
        .mode(SaveMode.Append)
        .save()



    spark.stop()
  }

}

case class User(id:Int,name:String)

报错：
Exception in thread “main” java.lang.NoSuchMethodError: com.atguigu.sparksql.User.(ILjava/lang/String;)V

Exception in thread "main" java.lang.NoSuchMethodError: com.atguigu.sparksql.User.<init>(ILjava/lang/String;)V
	at com.atguigu.sparksql.SparkSQL11_MySQL_Write$.main(SparkSQL11_MySQL_Write.scala:16)
	at com.atguigu.sparksql.SparkSQL11_MySQL_Write.main(SparkSQL11_MySQL_Write.scala)