目录
spark读取Hive的几种方式
1.HiveJDBC
2.通过服务的方式
直接读数据源
因为hive只是起到映射的作用,所以最简单、直观的方式就是直接读取数据的存储组件(HDFS\HBASE)
1.HiveJDBC
方式一:
val spark = pec.get[SparkSession]()
val dbtable = "( " + sql + ") AS Temp"
val jdbcDF = spark.read.format("jdbc")
.option("url", jdbcUrl)
.option("driver", driverName)
.option("dbtable", dbtable)
.option("user", hiveUser)
.option("password", hivePassword)
.option("fetchsize", "100")
.load()
方式二:
val properties = new Properties()
properties.put("user&