Spark Sql 把查询的结果值做为另一个查询的表名查询_sql 把表1的结果作为表2的表名,-CSDN博客

本文链接：https://blog.csdn.net/qq_43720193/article/details/125674481

这篇文章介绍了如何使用Apache Spark SQL从名为'tbname'的表中读取数据，该表实际存储了其他表的名称。通过循环遍历查询结果，动态加载并显示每个表的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

需要查询一张表，表来源根据管理表(tablename)的条件筛选

表 tablename 存放其他表名 ,现在需要根据表中tb_name的值查询对应表的值

实现代码


import java.util.Properties

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SparkSession}

object df {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.ERROR)

    //创建SparkSession对象
    val spark = SparkSession.builder()
      .appName("spark_sql")
      .master("local[2]")
      .getOrCreate()

    import spark.implicits._

    val reader: DataFrame = spark.read
      .format("jdbc")
      .option("url", "jdbc:mysql://**********:3306/database")
      .option("user", "********")
      .option("password", "********")
      .option("dbtable", "tbname")
      .load()

    val url = "jdbc:mysql://**********:3306/database"

    val connectionProperties = new Properties()
    connectionProperties.put("user", "********")
    connectionProperties.put("password", "********")


    val list: Seq[String] = reader.select('*)
                                  .rdd
                                  .collect()
                                  .toList
                                  .map(row => row.mkString)
    //    list.foreach(println)
    for (elem <- list) {
      spark.read
        .jdbc(url, elem, connectionProperties)
        .select('*)
        .show()
    }
  }
}