1)在cdh中,已经配置好了一切,可以直接在spark-shell访问hive
例子:
scala> import org.apache.spark.sql.hive.HiveContext
scala> val hiveCtx = new HiveContext(sc)
scala> val dataDF= hiveCtx.sql(“select * from TABLE”)
dataDF是dataframe
2:)在客户端的机器上开发环境访问hive的办法
spark2版本使用SparkSession作为统一入口,所以第一步就是给SparkSession增加Hive支持: enableHiveSupport()
val spark = SparkSession
.builder()
.appName(“Spark Hive Example”).master(“local[*]”)
.enableHiveSupport()
.getOrCreate()