在sparkSQL中无法找到Hive表apache.spark.sql.catalyst.analysis.NoSuchTableException:Table or view ‘emp‘ not f

RayBreslin

于 2018-10-02 10:30:06 发布

阅读量5.6k

点赞数 2

分类专栏： SparkSQL Spark 大数据开发文章标签： sparkSQL SparkSession hive enableHiveSupport

本文链接：https://blog.csdn.net/u010886217/article/details/82924501

版权

大数据开发同时被 3 个专栏收录

204 篇文章 8 订阅

订阅专栏

Spark

68 篇文章 0 订阅

订阅专栏

SparkSQL

16 篇文章 1 订阅

订阅专栏

1.问题描述

使用Scala编程，通过SparkSession连接hive中的表，但是没有找到，报错：

Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Table or view 'emp' not found in database 'default';

然而，在spark-shell中使用同样的命令，却可以访问到hive中的表。很纠结！

附上代码：

    val spark=SparkSession.builder().appName("HiveMySQLApp").master("local[2]").getOrCreate()
    //加载hive表
    val hiveDF=spark.table("emp")

    //关闭
    spark.close()

2.问题原因

SparkSession没有开启支持hive的功能

3.解决办法

在SparkSession添加支持hive的配置：SparkSession.enableHiveSupport()

    val spark=SparkSession.builder().appName("HiveMySQLApp").master("local[2]").enableHiveSupport().getOrCreate()
    //加载hive表
    val hiveDF=spark.table("emp")

    //关闭
    spark.close()