scala编写代码，使用flink框架读取CSV文件并将数据写入MySQL数据库（笔记）

目录

1.代码的功能

2.运行完报错

3.解决报错

4.问题解决

---

该代码用Scala编写，它使用了Apache Flink框架来读取CSV文件并将数据写入MySQL数据库。

1.代码的功能：

是从一个CSV文件中读取数据，然后使用Flink将数据写入MySQL数据库。代码中使用的是Flink的批处理API，因此它适合于处理静态数据或批处理作业。

import org.apache.flink.api.java.io.jdbc.JDBCOutputFormat
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.bridge.scala._
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.types.Row

object Wrmysql {
  def main(args: Array[String]): Unit = {
    //获取执行环境
    val env = ExecutionEnvironment.getExecutionEnvironment
//    env.setParallelism(1)
    val bbTableEnv = BatchTableEnvironment.create(env);

    val data1 = env.readCsvFile[(String,Int)]("src/main/data/house_sum.csv", ignoreFirstLine = false)
    val table1 = bbTableEnv.fromDataSet(data1)
    val set1 = bbTableEnv.toDataSet[Row](table1)
    set1.map(row=>(row.getField(0).toString,row.getField(1).toString.toInt))
    set1.output(JDBCOutputFormat.buildJDBCOutputFormat()
      //驱动名称
      .setDrivername("com.mysql.cj.jdbc.Driver")
      //地址
      .setDBUrl("jdbc:mysql://localhost:3306/houses")
      //用户名
      .setUsername("root")
      //密码
      .setPassword("1234")
      //插入语句
      .setQuery("insert into house_sum(neighbourhood_cleansed,house_sum) values(?,?)")
      .finish())

    env.execute("insert data to mysql")
    System.out.println("MySQL写入成功！")
  }
}

2.运行完报错如下：

这个异常信息表明在尝试创建BatchTableEnvironment时遇到了问题，导致创建失败。BatchTableEnvironment是Flink用于批处理操作的API的一部分，它允许用户执行类似于SQL的查询。具体的异常是ClassNotFoundException，这意味着Flink无法在类路径中找到org.apache.flink.table.api.bridge.scala.internal.BatchTableEnvironmentImpl这个类。这通常是因为缺少必要的Flink库或者类路径配置不正确。

Exception in thread "main" org.apache.flink.table.api.TableException: Create BatchTableEnvironment failed.
    at org.apache.flink.table.api.bridge.scala.BatchTableEnvironment$.create(BatchTableEnvironment.scala:407)
    at org.apache.flink.table.api.bridge.scala.BatchTableEnvironment$.create(BatchTableEnvironment.scala:359)
    at Wrmysql$.main(Wrmysql.scala:12)
    at Wrmysql.main(Wrmysql.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.api.bridge.scala.internal.BatchTableEnvironmentImpl
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:264)
    at org.apache.flink.table.api.bridge.scala.BatchTableEnvironment$.create(BatchTableEnvironment.scala:397)
    ... 3 more

3.解决报错问题： 

去File->prject Structure， 然后根据图片的步骤操作

4.问题解决：