Presto读Hive报错： Malformed ORC file. Cannot read SQL type ‘tinyint‘ from ORC stream...

已于 2022-04-14 18:27:25 修改
阅读量4.9k 收藏
点赞数
分类专栏： 大数据 文章标签： presto
于 2022-03-22 15:52:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilyjoke/article/details/123482379
版权

向社区提了个Issue：

Malformed ORC file. Cannot read SQL type 'boolean' from ORC stream '.illegal' of type INT with attributes · Issue #11428 · trinodb/trino (github.com)

跟了代码之后，这样改了，实测是能解决了，也用到生产环境了。但是不一定能合到社区，发出来，给可能有类似问题的同学做下参考，抛砖引玉吧：

Support ORC 8-bit field type like tinyint or boolean, which is recognized as numeric type in trino by lihui730 · Pull Request #11931 · trinodb/trino (github.com) 

lilyjoke
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
presto sql 报错_Presto上使用SQL遇到的一些坑
weixin_39572288的博客
12-24 895
最近换了新工作，在数据处理方面，公司是用Presto连接各个业务部的数据库，直接上SQL处理数据。一度是不是很适应。经过一段时间的工作，有了些感觉，决定将遇到的一些坑记录下来。Presto的是什么？优势是什么呢？从官方文档中我们了解到Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。...
Hive中查看数据库，查看表的时候报错
徐磊的博客
02-17 4222
一、hive版本验证，FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解...
Hive异常Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....
大数据梦想家
01-01 9965
今天在进行数据查询的时候,报了这个异常。 对于一个像我这样的技术小白来说,肯定是懵住了。但幸运的是，我很快就找到了出现这个问题的缘由。          原来是我在创建表格的时候,选择的格式是ORC。 而在导入数据的时候,文本文件却非ORC格式的,固报了这个异常!     &n...
使用hive查看orc文件 orcfiledump命令详解 异常处理(Failed to read ORC file)
sinat_25207217的博客
03-13 3081
hadoop hive查看orc文件 orc文件修复 orcfiledump命令详解
hive报错整理笔记(未完成)
weixin_43813200的博客
11-04 1168
hive报错整理加载数据错误 加载数据错误 Caused by: java.io.IOException: Malformed ORC file ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。 解决办法 直接orc格式的数据源，进行互相导入；创建临时表(text格式)，通过临时表插入到orc格式的表中 ...
Presto SQL 常见报错汇总
光于前裕于后的博客
03-02 2690
Presto SQL 常见问题汇总，持续更新中...
presto-hive-cdh4-0.69.zip
10-11
1. **解压与编译**：首先，你需要解压`presto.zip`，然后根据`presto-master`目录下的README文件编译源代码。 2. **配置集群**：根据集群规模和需求，配置Presto Server和Coordinator的配置文件，如`node.properties...
presto-hive-hadoop1-0.65.zip
10-18
`presto-hive`是Presto中的一个关键组件，它作为一个连接器，允许用户通过Presto SQL接口查询存储在Hive中的数据。Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询...
Presto 分布式SQL查询引擎 v0.241官方版
11-03
为您提供Presto 分布式SQL查询引擎下载，Presto是一个针对大数据的分布式SQL查询引擎，第一次构建Presto后，你可以将项目加载到你的IDE中并运行服务器，我们建议使用IntelliJ IDEA，因为Presto是一个标准的Maven项目...
presto-hive-hadoop1-0.55.zip
10-19
Presto是一个高性能、分布式SQL查询引擎，设计用于处理PB级别的数据。它的主要目标是提供低延迟查询，适合大规模的数据分析。在您的压缩包文件"presto-hive-hadoop1-0.55.zip"中，包含的是Presto与Apache Hadoop 1.x...
hive元数据修改未生效
weixin_45450027的博客
05-31 851
一、问题及分析 我将一个tinyint的字段通过hive客户端修改为smallint类型。后续通过presto查询数据时候，报错： java.io.IOException: Malformed ORC file. Can not read SQL type tinyint from ORC stream .origin of type SHORT ...
报错Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....
qq_43368947的博客
07-06 1765
问题描述 在用 sqoop 拉取 mysql 中的数据到 hive 的 ods 层的时候，报错以下内容 原因在于 在hive中创建表格的时候,格式是ORC，而在导入数据的时候,文本文件却非ORC格式的。 ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。 解决方案 1.将ORC格式的表删除换成textfile存储格式的表即可。 2.先创建一个以textfile格式的临时表先将源文件数据加载到该表，然后再从textfile表中i
Presto SQL常用函数（工作笔记）
weixin_45568892的博客
04-01 3696
Presto SQL常用函数 时间函数 时间转时间戳： select cast(to_unixtime(timestamp '2016-09-01 01:00:00') as bigint); _col0 | ----------| 1472691600| --时间戳转格式化时间字符串： select format_datetime(from_unixtime(cast(view_time as bigint)),'yyyyMMddHHmmss') select format_datetime(
presto时间范围查询语句date(只能用天)
song_quan_的博客
12-15 1021
SELECT longitude, latitude, correct_longitude, correct_latitude, lac AS daqu, angle, task_id, equip_id, gps_time FROM station_union_test WHERE 1 = 1 AND equip_id = '4726853c737a9898fc241615779058' and task_id='620' AND gps_tim...
Caused by: java.io.IOException: Malformed ORC file
zhuzhen123zhuzhen的博客
10-18 520
Caused by: java.io.IOException: Malformed ORC file 问题：hive表文件存储格式不是 orcfile，需修改hive 表数据存储格式为orc格式。
Hive ORC文件格式存储与测试（Malformed ORC file解决）
大数据挖掘SparkExpert的博客
12-06 9235
Hive本身支持好多种数据格式，其中OrcFile是当前压缩比最大的一个。因此进行该方面的实践。 采用建表过程中，直接：stored as orc，就可以指定。 然而用传统文本文件导入的方式，再进行查询测试，如select count(*) from table XX. 则会出现：Failed with exception java.io.IOException:java.
presto对orc文件的读取
sinat_27545249的博客
08-19 3108
orc文件格式概述 读取流程presto对orc文件和parquet文件的读取都进行了优化，那么本篇文章来分析一下都做了哪些优化1 orc文件格式概述每个orc文件都有一个文件footer，文件footer里存储了每个条带(script)的最大值最小值，可以用来过滤script。每个条带又有条带footer，具体作用未知。每个条带内部存储了行组的列存形式。2 读取流程读取流程涉及以下几个读取器的构造
异常 -- Mybatis Plus Cannot Read Database type or The Database
寿春
05-17 2269
错误总结前言正文 前言 由于使用的TTL连接的数据库，导致苞米豆在找mysql url 找不到对应的标识 其实这个主要在配置插件的时候出现这种错误，因为他要去找url进行sql拦截 言归正传。其实不过是解决这类问题，源头知道了，那么就好解决了 /** * 分页拦截器 * * @author hubin * @since 2016-01-23 */ @Setter @Accessors(chain = true) @Intercepts({@Signature(type = StatementHa
hive报错整理之Malformed ORC file 、Invalid postscript.
热门推荐
qq_33536353的博客
03-24 1万+
java.io.IOException: Malformed ORC file
presto报错exception:java.util.concurrent.ExecutionException: java.sql.SQLException: Query failed (#20230529_063701_03996_847se): line 202:9: Column 'array_v' cannot be resolved
最新发布
05-30
根据错误信息来看，问题出在了 `UNNEST` 这个函数上，Presto 无法解析 `array_v` 这个列名。这很可能是因为 `array_v` 这个列是在子查询中定义的，而在主查询中却无法访问。 一种解决方法是将子查询中对 `array_v` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值