hive java spark_SparkJavaAPI查询hive

// 最终代码

SparkConf sparkConf = new SparkConf()

.setMaster("local[*]")

.setAppName("main.demo2");

SparkSession spark = SparkSession

.builder()

.config(sparkConf)

.enableHiveSupport()

.config("hive.metastore.uris", "thrift://127.0.0.1:9083")

.config("spark.sql.warehouse.dir", "hdfs://127.0.0.1:50070/user/hive/warehouse") .config("spark.sql.hive.convertMetastoreOrc", false)

.config("convertMetastoreParquet", false)

.getOrCreate();

spark.sql("show databases").show();

spark.sql("show tables").show();

需要注意的是：

服务器上/apps/spark/warehouse(默认路径)下需要放入

如果没有该目录则进行创建 mkdir -p /apps/spark/warehouse

遇到的异常：

可以show databases;show tables。但是

spark-sql查询结果总是空表，但hive客户端是正常的；

代码中需要加入下面的配置：

.config("spark.sql.hive.convertMetastoreOrc", false)

.config("convertMetastoreParquet", false)