hive使用外部mysql_SparkSQL——使用外部数据源综合查询Hive mysql数据

实例代码

package com.spark

import org.apache.spark.sql.SparkSession

/**

* 使用外部数据源综合查询Hive mysql数据

*/

object HiveMySQLAPP {

def main(args: Array[String]): Unit = {

val spark=SparkSession.builder().appName("HiveMySQLAPP").master("local[2]").getOrCreate()

//加载Hive表数据

val hiveDF=spark.table("emp")

//加载MySQL的数据

val mysqlDF=spark.read.format("jdbc").option("url","jdbc:mysql://localhost:3306").option("dbtable","hive.TBLS")

.option("user","root").option("password","hadoop").option("driver","com.mysql.jdbc.Driver").load()

//JOIN

val resultDF=hiveDF.join(mysqlDF,hiveDF.col("deptno")===mysqlDF.col("deptno"))

resultDF.show()

spark.stop()

}

}