Spark读取Hive的方式以及出现的雷坑

目录

spark读取Hive的几种方式

直接读数据源

1.HiveJDBC

2.通过服务的方式

---

spark读取Hive的几种方式

1.HiveJDBC
2.通过服务的方式

直接读数据源

因为hive只是起到映射的作用，所以最简单、直观的方式就是直接读取数据的存储组件(HDFS\HBASE)

1.HiveJDBC

方式一：

val spark = pec.get[SparkSession]()
val dbtable = "( " + sql + ") AS Temp"
val jdbcDF = spark.read.format("jdbc")
  .option("url", jdbcUrl)
  .option("driver", driverName)
  .option("dbtable", dbtable)
  .option("user", hiveUser)
  .option("password", hivePassword)
  .option("fetchsize", "100")
  .load()

方式二：

val properties = new Properties()
properties.put("user&