在spark SQL中指定多个表

最新推荐文章于 2024-08-16 20:58:31 发布

_JOY

最新推荐文章于 2024-08-16 20:58:31 发布

阅读量1.8k

点赞数 1

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_36248805/article/details/87783649

版权

大数据专栏收录该内容

5 篇文章 0 订阅

订阅专栏

1.写一个创建mysql表的工具类Utility.scala

/**
    * 创建mysql的表
    *
    * @param url      msyql的url
    * @param userName mysql用户名
    * @param password mysql密码
    * @param tables   注册的表名集合
    * @param spark    SparkSession
    */
def createMysqlTempView(url: String, userName: String, password: String, tables: List[String], spark: SparkSession): Unit = {
  val proBasicData = new Properties()
  proBasicData.put("user", userName)
  proBasicData.put("password", password)

  val dfs = for {
    table <- tables
  } yield (table, spark.read.jdbc(url, table, proBasicData))

  for {
    (name, df) <- dfs
  } df.createOrReplaceTempView(name)
}

2.main.scala中调用

    Utility.createMysqlTempView(MySQLConnetionUtility.MOVIEBASIC_URL, MySQLConnetionUtility.MOVIEBASIC_USERNAME, MySQLConnetionUtility.MOVIEBASIC_PASSWORD,
      List("表名"), spark)