Spark无法读取hive 3.x的表数据

最新推荐文章于 2023-03-13 17:44:43 发布
最新推荐文章于 2023-03-13 17:44:43 发布
阅读量673 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wppwpp1/article/details/106022355
版权

通过Ambari2.7.3安装HDP3.1.0成功之后，通过spark sql去查询hive表的数据发现竟然无法查询

 

HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据，准确来说是内表的数据。

 

原因
hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据.
请看：https://issues.apache.org/jira/browse/SPARK-15348

 

解决办法
修改以下参数让新建的表默认不是acid表。

 

hive.strict.managed.tables=false 
hive.create.as.insert.only=false 
metastore.create.as.acid=false
wppwpp1
关注
spark sql读取hive底层_Spark-SQL读不到Hive数据库的新坑指北
weixin_35215225的博客
12-30 2859
背景本文讲的是spark-sql这个命令行工具读取hive数据的情况：Spark是2.3.1，HDP发行版Hive是3.1.0，HDPSparkSQL和Hive3的交互问题，用Sparksql读取处理hive中已存在的表数据但读取不到hive的database顺便，SparkSQL读取不了hive内部表，可以读hive外表的数据，文末有解决方案刚开始熟悉Spark与hive3.x的交互，搜索了一番...
spark sql读取hive底层_原创-spark sql 写入hive较慢优化思路
weixin_34954140的博客
12-29 1636
在《spark sql 写入hive较慢原因分析》中已经分析了spark sql 写入hive分区文件慢的原因，笔者提供几种优化思路供参考：(1)spark 直接生成hive库表底层分区文件，然后再使用add partion语句添加分区信息spark.sql(s"alter table legend.test_log_hive_text add partition (name_par='${dir...
spark 无法读取hive 3.x的表数据
u013024563的博客
08-10 4864
HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据数据，准确来说是内表的数据。 原因 hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据. 请看：https://issues.apache.org/jira/browse/SPARK-15348 ...
【原创】大叔经验分享（65）spark读取不到hive表
weixin_30652897的博客
06-01 832
spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport().getOrCreate() 3) 测试代码 val sparkConf = new Sp...
spark-sql读取不到parquet格式的hive表
onway_goahead的博客
02-07 1613
情况一： 当向Hive metastore中读写Parquet表时，Spark SQL将使用Spark SQL自带的Parquet SerDe（SerDe：Serialize/Deserilize的简称,目的是用于序列化和反序列化），而不是用Hive的SerDe，Spark SQL自带的SerDe拥有更好的性能。这个优化的配置参数为spark.sql.hive.convertMetastoreParquet，默认值为开启。 所以有时会发生spark自带的序列化方式无法解析hive中的parquet数据，
spark sql读取不到orc格式hive表数据问题
03-04 8285
1、问题 在做spark数据对账时，对于部分orc格式的hive表，会有spark sql读取表数据为空的情况 排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件 参考文章： https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.html https://bl
spark 读取hive java_Spark2.0入门：连接Hive读写数据（DataFrame）
weixin_35397676的博客
02-26 975
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！[返回Spark教程首页]Hive是基于Hadoop的数据仓库(要想了解更多数据仓库Hive的知识以及如何安装Hive，可以参考厦门大学数据库实验室的Hive授课视频、Hive安装指南)。本节内容介绍Spark如何连接Hive并读写数据。一、让Spark包含Hive支持为了让Spark能够访问Hive，必须为Spark添加Hi...
Spark读取hive数据报Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState
weixin_42963290的博客
04-11 4112
错误如下： Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Nati...
java读spark hive_项目实战从0到1之Spark（3）spark读取hive数据
weixin_29442031的博客
02-13 698
1.首先将集群的这3个文件hive-site.xml，core-size.xml,hdfs-site.xml放到资源文件里(必须，否则报错)2.代码方面。下面几个测试都可以运行。1)test03.javaimport org.apache.spark.sql.SparkSession;import java.text.ParseException;public classtest03 {publi...
在sparkSQL中无法找到Hive表apache.spark.sql.catalyst.analysis.NoSuchTableException:Table or view ‘emp‘ not f
小蚯蚓的博客
10-02 5683
1.问题描述 使用Scala编程，通过SparkSession连接hive中的表，但是没有找到，报错： Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException:Table or view 'emp' not found in database 'default'; ...
解决Spark查询Hive表扫描不到HIVE_UNION_SUBDIR的问题
私奔在线
03-29 4999
背景 　　使用Hive的insert overwrite/into select ... union all生成的Hive表数据时，会在原本的数据表目录下生成多个子目录（HIVE_UNION_SUBDIR_1、HIVE_UNION_SUBDIR_2），以存放数据文件（正常情况下数据文件会直接存放在数据表目录下）。 　　这时，如果使用spark-sql去查询该数据表的时候，会报 Not a file 的异常： Cause by: java.io.IOException: Not a file: hdf
HDP3.1中spark2.3无法读取Hive3.0数据
08-20 3606
通过Ambari2.7安装好HDP3.1后，发现在spark-sql中无法读到hive命令行创建的数据库和表。 后来查了网上资料，发现hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据。 然后修改了hive-site.xml配置文件里的相关配置项： hive.strict.managed.ta...
sparksql 读取hive表子目录问题排查
weixin_38148824的博客
03-13 2085
sparksql读取hive表子目录问题
解决Hive on Spark与Spark on Hive之间表数据不互通问题
u012667450的博客
12-10 1852
解决Hive on Spark与Spark on Hive之间表数据不互通问题 问题描述 通过Ambari2.7.5安装HDP3.1.5集群后，spark-sql和hive虽然已经实现了整合，无论在hive还是spark-sql都能看到对等的数据；但是如果是在spark-sql下创建的表，则无法在hive下插入数据。反之亦然。如下图所示： 从上图可以看到： test1表是spark-sql创建并插入一条数据，可以在hive中查看。 但是执行insert时报错。提示：Failed to create Sp
记录spark3.x on hive时候因为依赖冲突导致的bug
weixin_44513718的博客
06-01 493
记录spark3.x on hive时候因为依赖冲突导致的bug
hive小操作·关于 spark2.4-读取hive3.1事务表
concealed0的博客
08-22 5205
版本信息： spark2.4 hive3.1.1 异常情况： 使用 alter table * compact 'major'后，spark仍无法读取hive事务表中数据 具体流程如下 1、建表语句 create table sugon_transaction(id Int,name String) clustered by (name) into 3 buckets stored ...
spark读取hive表异常，处理WARN HiveExternalCatalog: The table schema given by Hive metastore
qq_28658621的博客
04-05 6361
spark读取hive表异常：WARN HiveExternalCatalog: The table schema given by Hive metastore...We have to fall back to the table schema from Hive metastore which is not case preserving.
蚂蚁金服SQL笔试题解答，同时遇到hive使用spark执行时不兼容问题。
A_static的博客
06-29 763
蚂蚁金服SQL笔试题解答，同时遇到hive使用spark执行时不兼容问题。题目：用SQL计算：计算用户连续完成订单间隔最大的天数和最小的天数。 一、按照题目需求解答（只需要找出用户的最大和最小连续区间）：代码如下： 执行结果： 二、思维扩展 需求：找出每个用户的最大和最小连续区间，并且求出最大和最小的持续天数。 分析：注意点，每个用户的...
使用spark.sql读取hive中表的数据
最新发布
04-24
好的，可以使用以下语句通过Spark SQL读取Hive中的表数据： ``` val spark = SparkSession.builder() .appName("ReadHiveTable") .enableHiveSupport() .getOrCreate() val df = spark.sql("select * from database.table") ``` 其中，`database`为Hive中的数据库名称，`table`为要读取的表名称。这里使用了`enableHiveSupport()`来启用Hive支持。读取完成后，可以对`df`进行后续的处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值