spark代码连接hive_spark远程连接hive代码实现（org.apache.spark.sql.AnalysisException:Tableorviewnotfound:`myd...

最新推荐文章于 2023-06-12 21:54:11 发布
最新推荐文章于 2023-06-12 21:54:11 发布
阅读量295 收藏
点赞数
文章标签： spark代码连接hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39830588/article/details/111539944
版权
本文档记录了使用 Spark 代码尝试连接并查询 Hive 数据库时遇到的 `AnalysisException: Table or view not found` 错误，详细分析了错误原因，并提供了配置文件放置位置的解决方案。
摘要由CSDN通过智能技术生成

+------------+

|databaseName|

+------------+

| default|

+------------+

root

|-- databaseName: string (nullable =

false)

19/07/18 20:57:56 INFO HiveMetaStore: 0: get_database:

global_temp

19/07/18 20:57:56 INFO audit: ugi=Administrator

ip=unknown-ip-addr cmd=get_database: global_temp

19/07/18 20:57:56 WARN ObjectStore: Failed to get database

global_temp, returning NoSuchObjectException

19/07/18 20:57:56 INFO HiveMetaStore: 0: get_database:

mydata

19/07/18 20:57:56 INFO audit: ugi=Administrator

ip=unknown-ip-addr cmd=get_database: mydata

19/07/18 20:57:56 WARN ObjectStore: Failed to get database

mydata, returning NoSuchObjectException

Exception in thread "main"

org.apache.spark.sql.AnalysisException: Table or

最低0.47元/天 解锁文章
weixin_39830588
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
为什么能在Presto中可以运行的sql却在SparkSQL中报错？
默主归沙的博客
03-28 1296
真的对于sql语句，在presto里面查询，Pass.... 在sparksql中加载，一跑就... Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: article_embedding; line 23 pos 18 at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.fa...
SparkSession 访问 Hive 表数据报错：org.apache.spark.sql.AnalysisException: Table or view not found
weixin_37417954的博客
07-04 3570
错误场景 当通过 SparkSession 访问 hive 中的表数据时，报错如下： Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: emp; line 1 pos 47 at org.apache.spark.sql.catalyst.analys...
org.apache.spark.sql.AnalysisException: Table or view not found: testtable
LAFEU的专栏
04-16 1832
问题 User class threw exception: org.apache.spark.sql.AnalysisException: Table or view not found: testtable; line 1 ； 解决办法，引入--files /data0/spark/spark-2.2.1-bin/conf/hive-site.xml ...
运行spark sql时出现的一个问题
weixin_30849591的博客
09-30 1962
运行如下代码时 出现了 org.apache.spark.sql.AnalysisException 错误 import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} /** * 使用SaprkSQL实现iplocation ...
HiveContext 执行报错Exception in org.apache.spark.sql.AnalysisException: Table or view not found
weixin_37417954的博客
06-27 1137
-- 昨夜西风凋碧树，独上高楼，望尽天涯路 问题描述 通过 Spark 的 HiveContext 查询 Hive 中的数据的时候报错如下： Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found:...
test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr
09-21
"thrifthive.php"是指具体的PHP类库，"hive"指的是Apache Hive，一个基于Hadoop的数据仓库工具，用于SQL-like查询和管理大规模数据集。"hive_php"和"php_hive"表示PHP与Hive的集成，而"php_hive_thrift"则表明这种...
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
spark2_8_3安装版exe.zip
04-07
1. SQL支持：通过Spark SQL，Spark可以处理SQL查询，支持多种数据源，如Hive、Parquet、JSON等，使得非程序员也能轻松操作数据。 2. DataFrame和Dataset API：DataFrame提供了DataFrame API用于处理结构化数据，而...
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
本地Spark连接Hive异常问题
狂奔的蜗牛
07-08 6964
环境：idea spark2.2 hive1.1 maven3 场景：本地运行Spark代码，连接Hive集群查询数据： 本地设置了SPARK_HOME、SCALA_HOME 将hive-site.xml复制到本地的%SPARK_HOME%/conf/路径下 代码如下： def main(args: Array[String]): Unit = { val wareho...
spark-sql的使用配置流程
qq_38522268的博客
07-17 849
1，安装配置好jdk，mysql和scala 2，安装配置hadoop 3，安装配置好hive 4，安装配置好spark 5，把hive的conf目录下hive-site.xml文件拷贝到spark的conf目录下 cp hive-site.xml /home/hadoop/app/spark-2.4.6-bin-hadoop2.7/conf 6，spark启动，需指定mysql驱动包，进入scala命令行 spark-shell local[2] --jars ~/software/my
大数据技术之SparkSQL——数据的读取和保存
five小点心的博客
05-08 3617
SparkSQL提供了通用的保存数据和数据加载的方式。根据不同的参数读取，并保存不同格式的数据。SparkSQL默认读取和保存的文件格式为Parquet。
尚硅谷大数据技术Spark教程-笔记08【SparkSQL（介绍、特点、数据模型、核心编程、案例实操、总结）】
upward
06-12 1975
尚硅谷大数据技术Spark教程-笔记08【SparkSQL（介绍、特点、数据模型、核心编程、案例实操、总结）】
Spark-Shell操作
筱白熊
04-08 3504
Spark-Shell操作 spark-shell简述 ​ spark-shell是REPL（Read-Eval-Print Loop，交互式解释器），它为我们提供了交互式执行环境，表达式计算完成以后就会立即输出结果，而不必等到整个程序运行完毕，因此可以及时查看中间结果并对程序进行修改，这样可以在很大程度上提升程序开发效率。spark-shell支持Scala和Python，Spark框架使用Scala语言开发的，使用spark-shell命令会默认进入Scala的交互式执行环境。如果要进入Python的交
Spark-shell上运行sql命令报错 WARN metastore.ObjectStore
DataAlgo
08-28 3089
在spark-shell上运行sql语句，报错 WARN metastore.ObjectStore: Failed to get database default, returning NoSuchObjectException 刚开始在自己的IDEA上都可以编译成功sql部分的代码， 没想到在client上翻了车。 google了好一会才发现是因为spark上conf里面缺少hive配置文件。 很简单，找到hive里conf的下hive-site.xml文件 拷贝到spark的conf目录下 cp h
SparkSql之数据的读取和保存
石榴姐yyds
08-19 5569
目录 0 引言 1 加载数据 2 保存数据 3 Parquet 4 JSON 4 CSV 5 MySQL 6 Hive 0 引言 SparkSQL提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL默认读取和保存的文件格式为parquet。 1 加载数据 spark.read.load 是加载数据的通用方法 scala> spark.read. csv format jdbc json
Spark SQL Catalyst源码分析之TreeNode Library
OopsOutOfMemory盛利的博客
07-24 9862
Spark SQL Catalyst的核心类库TreeNode详解，配有实例，图文并茂。
spark报错org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
qq_44665283的博客
02-09 3585
org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree
Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':
最新发布
07-27
这个错误通常是由于缺少必要的依赖项或配置问题引起的。以下是一些可能的解决方法： 1. 检查 Spark 和 Hive 版本的兼容性。确保您使用的 Spark 版本与 Hive 版本兼容。您可以查看 Spark 官方文档或 Spark 和 Hive 的兼容性矩阵来确认版本兼容性。 2. 检查您的 Spark 配置。在创建 SparkSession 之前，确认您已正确配置了 Hive 相关的属性。例如，您可以通过设置 `spark.sql.catalogImplementation` 属性为 `hive` 来启用 Hive 支持。 3. 检查 Hive 相关的依赖项。确保您的项目中包含了正确的 Hive 相关的依赖项。您可以通过在项目构建文件中添加相应的依赖项来解决该问题。例如，如果使用 Maven 进行构建，可以在 `pom.xml` 文件中添加类似以下的依赖项： ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.x</artifactId> <version>${spark.version}</version> </dependency> ``` 请注意，`${spark.version}` 应该替换为您实际使用的 Spark 版本。 4. 检查您的环境设置。确保您的环境正确设置了相关的环境变量，例如 `HADOOP_HOME` 和 `HIVE_HOME`。 如果尝试了上述方法仍然无法解决问题，请提供更多详细信息，例如完整的错误消息、Spark 和 Hive 的版本、您的配置和依赖项等，以便更好地帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值