使用外部数据源综合查询Hive和MySQL的表数据

最新推荐文章于 2024-03-18 16:53:59 发布

kingloneye

最新推荐文章于 2024-03-18 16:53:59 发布

阅读量188

点赞数

本文链接：https://blog.csdn.net/weixin_38887752/article/details/106595265

版权

Spark 同时被 3 个专栏收录

35 篇文章 1 订阅

订阅专栏

hive

22 篇文章 0 订阅

订阅专栏

scala

19 篇文章 0 订阅

订阅专栏

import org.apache.spark.sql.SparkSession

/**
 * 使用外部数据源综合查询Hive和MySQL的表数据
 */
object HiveMySQLApp {

  def main(args: Array[String]) {
    val spark = SparkSession.builder().appName("HiveMySQLApp")
      .master("local[2]").getOrCreate()

    // 加载Hive表数据
    val hiveDF = spark.table("emp")

    // 加载MySQL表数据
    val mysqlDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306").option("dbtable", "spark.DEPT").option("user", "root").option("password", "root").option("driver", "com.mysql.jdbc.Driver").load()

    // JOIN
    val resultDF = hiveDF.join(mysqlDF, hiveDF.col("deptno") === mysqlDF.col("DEPTNO"))
    resultDF.show


    resultDF.select(hiveDF.col("empno"),hiveDF.col("ename"),
      mysqlDF.col("deptno"), mysqlDF.col("dname")).show

    spark.stop()
  }

}