Spark SQL fails on empty ORC table

最新推荐文章于 2024-03-08 17:14:41 发布
最新推荐文章于 2024-03-08 17:14:41 发布
阅读量2.7k 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxiaowang/article/details/103495736
版权

如题。

sqlContext.setConf("spark.sql.hive.convertMetastoreOrc", "false")

 

参考上 BEST ANSWER 说把参数放在：

In ambari its Custom spark-defaults.

Value : spark.sql.hive.convertMetastoreOrc=false

这样并不可行，要放在

Custom spark-thrift-sparkconf

轻风细雨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark sql读取不到orc格式hive表数据问题
03-04 7822
1、问题 在做spark数据对账时，对于部分orc格式的hive表，会有spark sql读取表数据为空的情况 排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件 参考文章： https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.html https://bl
spark-sql 与hive结果不一致
weixin_38751513的博客
11-20 2674
同一条sql,hive能生成表,而spark却生成的一张空表,或者数据缺少,存在null值,与hive结果不一致 设置 spark.sql.hive.convertMetastoreOrc=false convertMetastoreParquet=false 即可 原因: spark用自己的格式读取hive文件后进行自动转换后进行操作 官方说明 spark.sql.hive.convertM...
spark sql读取不到orc格式报错java.lang.NullPointerException at org.apache.spark.sql.execution.datasources.orc
weixin_43806056的博客
04-10 997
由于表存储数据用textfile的时候，因为分隔符的问题导致数据会被切分紊乱，导致有很多null的数据存储，所以使用orc的格式存储数据。注意：目前我是在大数据平台中运行的sql，set spark.sql.hive.convertMetastoreOrc=false和业务sql在一个会话中执行，所以参数只会在当前会话中生效。这个参数默认是true，spark操作orc表数据的时候，默认使用的是内置orc reader和 orc writer，替代hive会有不兼容的情况，所以设置以上参数就成功了。
Hive上游为ORC格式的表，下游读取不完整
hsh9794的博客
02-14 476
下游读取数据的时候，一直反复尝试，数据仍然不完整，理论上来说上游有四条数据，下游始终只能读到一条，反复排查后发现上游的任务都是spark类型，下游是用hive进行处理的时候会遇到这种问题，原因是下游的hive和上游的spark对于ORC格式的处理方式有所区别，spark底层对于读和写替换了原有的hive方案，所以导致两边不兼容，引发了数据不对齐的情况。遇到同类问题，采用spark.sql.hive.convertMetastoreParquet=false也可以解决问题。
9，spark源码分析-Catalyst流程解析(2)
北方的大数据之路
09-24 691
QueryExecution 在调用分析器之前，首先创建QueryExecution. QueryExecution 是spark执行查询的主链路。 RuleExecutor Rule是一系列的规则的接口类，比如分析器的各种分析规则，优化器的各种规则，执行器的各种规则等等。 RuleExecutor 就是各种不同Rule匹配逻辑执行计划树结构并且生成新的树结构的生成器。 在RuleExecutor的实现子类（如Analyzer和Optimizer）中会定义Batch(每个Batch代表着一套规则).
sql关闭与开启
12-14
在SQLyog中Import Data或Empty Table (Shitf + D)时，出现 Error No. 1451 Cannot delete or update a parent row: a foreign key constraint fails (...) 这可能是MySQL在InnoDB中设置了foreign key关联，造成无法...
SQL语句实例说明 方便学习mysql的朋友
09-11
在SQL语言中，数据库操作是核心部分，尤其是对于MySQL这种广泛应用的关系型数据库管理系统。本文将深入探讨MySQL中的SQL语句实例，帮助初学者更好地理解和掌握MySQL数据库操作。 首先，我们来看如何管理数据库。在...
Oracle Database on Linux Fails to Start - ORA-27154 ORA-27300 OR
05-25
ORA-27301: OS failure message: No space left on device ORA-27302: failure occurred at: sskgpbitsper ``` 这里显示了由于系统信号量资源不足导致的错误，即“没有空间可用”。 **原因** 问题的根本原因在于...
SQLPrompt_7.3.0.651(包含注册机)
11-05
Support ticket 74368: Fix for a semicolon being incorrectly added on an ALTER table statement with a masked column 7.3.0.598 - 6th October Formatting now indents nested JOIN clauses correctly Fix ...
微软内部资料-SQL性能优化3
11-27
Intent locks improve performance because SQL Server examines intent locks only at the table level to determine whether a transaction can safely acquire a lock on that table. This removes the ...
SparkSQL读取ORC表时遇到空文件
weixin_45240507的博客
05-10 1921
先看一段报错日志： ERROR ApplicationMaster: User class threw exception: java.lang.RuntimeException: serious problem java.lang.RuntimeException: serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021) at or
Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优
u014034497的专栏
10-29 2937
默认情况下因此，默认情况下，切片大小=blocksize。因为一般文件的block大小为128M, 是小于mapreduce.input.fileinputformat.split.maxsize默认值的根据orc文件的stripe，结合参数配置，最终生成split结论：因此使用能够控制生成split个数，进而控制读取的map task数量以下为设置为"67108864"时，spark sql 读取orc文件的示意图。
【Hive/Spark】常见参数配置
Stannis的博客
04-03 1425
（用于spark3中字段类型不匹配（例如datetime无法转换成date），消除sql中时间歧义，将Spark .sql. LEGACY . timeparserpolicy设置为LEGACY来恢复Spark 3.0之前的状态来转化）（4）set spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes=2048M;
SparkSQL并发写入orc、parquet表的异常问题排查
热门推荐
u013332124的专栏
10-29 1万+
文章目录一、问题描述二、Hive 执行overwrite语句时没有删除旧数据的原因三、SparkSQL 失败的原因四、解决方案1、排查过程2、解决方案3、spark.sql.hive.convertInsertingPartitionedTable参数的作用 一、问题描述 有业务反馈某张表的分区下有重复数据，该分区数据的写入任务之前曾用sparkSQL执行过，跑失败了后切换成Hive执行成功了。看了下该分区对应的目录，发现目录下同时存在sparkSQL和Hive SQL生成的文件（也就是Hive任务执行时未
Spark中InsertIntoHiveTable 和 InsertIntoHadoopFsRelationCommand(两种写hive的方式)区别和注意的点
最新发布
monkeyboy_tech的博客
03-08 983
目前Spark写hive表有两种形式，一种是基于 Hive 原生的模式，一种是Spark native datasource的模式, 这两种模式可以通过配置的参数。方法的过程，尤其如果说是已存在的hive表有百万分区的话，很容易造成。，该方法会从把hive中的properties的信息传给。，这个方法如果对于分区数比较多的情况下是比较耗时的，而且。对于第一种原生的hive写入方式来说，最终调用的是。中的方法,里面采用的是spark自身的进行写入。中的方法,而这里面的都是采用。本文基于Spark 3.5。
sparksql 谓词下推功能的bug
北方的大数据之路
07-29 731
场景描述， 一个普通的sql，因为查询条件过多，导致task一直在filter, 假死的状态。spark的版本为spark-2.3 sql语句 CREATE TABLE `temp.tmp_st_loan_bfm_crdamt_slast_xray20210727`( `userid` bigint, `flag_type` string, `score_bairong` bigint, `bfm_used_rate` double, `lrm_credit_amt` big
同一条sql语句 ，使用Spark Sql 和 hive Sql查询数据结果不一致
Tate的博客
10-12 2061
同一条sql语句 ，使用Spark Sql 和 hive shell 查询数据结果不一致 1、sql语句 2、spark sql 执行结果 3、hive sql 执行结果 4、原因 Hive写入Parquet/Orc表时，实现了自己的一个SerDe，Spark觉的Hive的SerDe性能比较低，于是实现了自己的SerDe。因此碰到Parquet、Orc的表数据写入时，SparkSQL默认使用自己内部的SerDe。 5、解决方式 .config(“spark.sql.hive.convertMetast
spark.sql.hive.convertMetastoreParquet参数优化
fengyuruhui123的博客
05-16 7729
Hive metastore Parquet表转换（Hive metastore Parquet table conversion） 当向Hive metastore中读写Parquet表时，Spark SQL将使用Spark SQL自带的Parquet SerDe（SerDe：Serialize/Deserilize的简称,目的是用于序列化和反序列化），而不是用Hive的SerDe，Spark
SparkSQL学习- InsertIntoHiveTable类
chncaesar的专栏
07-28 3509
InsertIntoHiveTable可以理解为SparkSQL物理执行计划的一个操作符，将数据价值到Hive表。它包含有 Configuration对象 Hive表路径 HiveSessionState对象 主要逻辑在sideEffectResult方法，包括校验和设置参数，调用sc.runJob，清理临时文件，刷新Hive表元数据。具体如下 构造FileSinkDec对象，写入文件压缩...
a foreign key constraint fails (
09-06
a foreign key constraint fails 是一个数据库错误。它通常发生在删除或更新一个父行时，有一个外键约束导致失败。这个错误表示在删除或更新父表的行时，存在一个外键依赖关系，子表中的数据依赖于父表的数据。如果尝试删除或更新父表的行，而子表中还存在相应的数据，就会触发外键约束失败的错误。 解决这个问题的方法，可以暂时关闭外键约束检查，删除父表的行，然后再开启外键约束检查。具体步骤如下： 1. 使用 SQL 语句 `SET foreign_key_checks = 0;` 关闭外键约束检查。 2. 使用 SQL 语句 `DELETE FROM 表名 WHERE 条件;` 删除父表的行。 3. 使用 SQL 语句 `SET foreign_key_checks = 1;` 再次开启外键约束检查。 这样做可以绕过外键约束检查，执行删除操作。但是请注意，在删除父表的行之前，确保子表中不再有依赖于父表的数据。否则，删除父表的行可能会导致数据不一致性或错误。在操作数据库时，请谨慎处理外键约束关系，以确保数据的完整性和一致性。 <span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Cannot delete or update a parent row: a foreign key constraint fails](https://blog.csdn.net/weixin_42272869/article/details/122560342)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值