Spark无法读取hive 3.x的表数据

最新推荐文章于 2023-04-22 22:41:26 发布
最新推荐文章于 2023-04-22 22:41:26 发布
阅读量204 收藏
点赞数 1
分类专栏： hive hadoop
原文链接：http://www.cnblogs.com/itboys/p/11148242.html
版权

通过Ambari2.7.3安装HDP3.1.0成功之后，通过spark sql去查询hive表的数据发现竟然无法查询

HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据，准确来说是内表的数据。

原因
hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据.
请看：https://issues.apache.org/jira/browse/SPARK-15348

解决办法
修改以下参数让新建的表默认不是acid表。

hive.strict.managed.tables=false 
hive.create.as.insert.only=false 
metastore.create.as.acid=false
wppwpp1
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark读hive没有权限异常Permission denied
lyd882的博客
03-08 2566
sparkSQL读取hive库或表时提示没有权限异常 spark@h1:~$ spark-shell 20/03/08 13:29:35 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setti...
Spark写入非分区表Hive无法读取的问题
欲望以提升热忱 毅力以磨平高山
10-31 707
问题描述： Spark2.4写入的非分区表无法使用Hive2.1.1版本的引擎去读取，报错：`Failed with exception java.io.IOException:java.lang.ArrayIndexOutOfBoundsException: 6` 原因分析： 一、非分区表测试 --1. 新建测试表 create table tmp.orc(id int, name string) stored as orc; --2.sparksql写入 insert into table t
Spark读取hive表权限问题
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
04-22 365
Spark读取hive表权限问题
spark3.x on hive3.x idea配置和相关坑
weixin_44513718的博客
05-31 846
一：spark on hive 的两种方式 1，通过jdbc的方式连接hiveserver2的方式来读取数据 两种方式虽然都可以，但是第一中相对比较事多，我用的spark3.0.0里面，没有针对hive的dialect,我们自己需要根据源码实现一个 ，然后注册进去。基于jdbc的读取代码如下 ： //利用jdbc方式+hive2方式读取hive数据(spark on hive报错，改用这个方式) def readDfdatafromHive(db: String, tablename: Stri
项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）
10-24
Hive提供了丰富的接口供外部应用访问，包括Hive JDBC和Hive SerDe（Serializer/Deserializer），Java程序可以利用这些接口读取Hive表中的数据。 2. **Spark计算框架**： Spark是大数据处理的开源框架，以其高效、...
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse
07-31
2. **读取Hive表**：使用Spark SQL的`spark.read.format("hive").load()`语句加载Hive表，这将返回一个DataFrame。 3. **处理和转换数据**：根据需求，可能需要对DataFrame进行一系列操作，如数据清洗、转换、聚合...
spark操作hive表源码
11-03
接下来，我们可以通过SparkSQL接口读取Hive表。例如，如果我们有一个名为`my_table`的Hive表，可以这样读取： ```scala val df = hiveContext.sql("SELECT * FROM my_table") ``` `df`是一个DataFrame，它是Spark ...
iamxwaa#document#spark读取hive问题处理1
07-25
spark2.3 读取hive问题处理读取不到hive中的数据库？spark通过hive读取hbase外连表，报Class Not Found等异常？手动指定s
spark SQL配置连接Hive Metastore 3.1.2
从大数据到人工智能的博客
01-09 3385
Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。 通过Spark连接Hive Metastore，需要准备如下文件： hive-site.xml apache-hive-3.1.2-bin spark-3.0.3-bin-hadoop3.2 在完成下述操作之前，当然首先需要安装并启动hive standalone metastore，并将hi
SparkSQL访问Hive源
chy2z的专栏
11-18 845
软件环境 hadoop2.7.6 spark-2.3.0 scala-2.11.12 hive-2.1.1 SparkSQL命令行模式可以直接连接Hive的 将hive目录中的 D:\Soft\apache-hive-2.1.1-bin\conf\hive-site.xml 文件拷贝贝到D:\Soft\spark\confspark目录中 D:\soft\spark\jars 目录...
Spark3.X 编译源码支持hive（亲测可用）
猫头鹰数据的专栏
10-13 1775
Spark官网提供的编译版本默认是不支持Hive的，今天就给大家介绍采用源码编译方法得到支持Hive的Spark版本
【总结】hive-jdbc升级后执行spark.sql查询hive报错NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
|] 大世界，小人物
03-08 813
看到 Caused by: java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 首先关键词是HIVE_STATS_JDBC_TIMEOUT，错误原因是NoSuchFieldError，说明存在类冲突，点击查看org.apache.spark.sql.hive.HiveUtils 类源码第212行，发现该代码引用了HiveConf.ConfVars中的枚举值。最后迫于无奈，只能将hive-common的版本号再次降回到1.2.1版本。
redis安装配置
chengjianchui8472的博客
11-21 120
下载 http://redis.io/download redis稳定版 安装 $ wget http://download.redis.io/releases/redis-3.0.5.tar.gz $ tar xzf redis-3.0.5.tar.gz $ cd redis-3.0...
Spark相关常见问题汇总
IT晓白
07-13 1998
在执行Spark过程中抛出：：该原因是由于hosts未配置，导致不识别：修改相应的机器的host即可在执行Sparksql操作orc类型的表时抛出：：分区或者表下存在空的orc文件。该BUG在Spark2.3.0之后才修复：规避解决。修改ORC的默认分割策略为：hive.exec.orc.split.strategy=BI进行解决。Orc的分split有3种策略（ETL、BI、HYBIRD），默认是HYBIRD(混合模式，根据文件大小和文件个数自动选择ETL还是BI模式)，BI模式是按照文件个数来分spli
在spark-2.2.x中操作hive的表数据的流程
Rocky
09-12 1649
环境：centos6.5 hadoop  伪分布式 ，spark 伪分布式   安装hive  在window下面。在idea中，通过程序去操作hive中的表。   需要把linux上面spark安装目录下面/conf里面的hive-site.xml的文件放到window下面idea中当前project中 的resources文件夹下面。 并且配置log4j.properties文件。方便...
使用spark.sql读取hive中表的数据
最新发布
04-24
好的，可以使用以下语句通过Spark SQL读取Hive中的表数据： ``` val spark = SparkSession.builder() .appName("ReadHiveTable") .enableHiveSupport() .getOrCreate() val df = spark.sql("select * from database.table") ``` 其中，`database`为Hive中的数据库名称，`table`为要读取的表名称。这里使用了`enableHiveSupport()`来启用Hive支持。读取完成后，可以对`df`进行后续的处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值