这种方式只适用在服务器上提交spark-submit时读取本集群hive中的数据
val spark = SparkSession
.builder()
//项目名字,任意取
.appName("five")
//从hive中读取数据的关键配置
.enableHiveSupport()
//本地执行
.master("local[2]")
.getOrCreate()
之后就是很简单的
//如果使用的集群
spark.sql("use 自己主机名")
spark.table("表名")
简单示范一下
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.appName("five")
.enableHiveSupport()
.master("local[2]")
.getOrCreate()
//这里我用的集群
spark.sql("use mine")
spark.table("exte")
.select("*")
.show()
spark.stop()