hive orc表增加字段之后,hetu查询报错

106 篇文章 4 订阅
100 篇文章 0 订阅

问题现象:

某集群hive表新增字段,然后插入数据。使用hive查询正常,但是使用hetu查询报错。报错堆栈如下:
Caused by: io.prestosql.spi.PrestoException: Error opening Hive split hdfs://hacluster/user/xxx/hive/xx/xxx/sysp_year=2021/sysp_month=07/sysp_day=16/part-00000-83acb0c2-e980-4e78-87d4-b6aacc70ce68.c000.snappy.orc (offset=0, length=67017): Malformed ORC file. Can not read SQL type timestamp from ORC stream .tag

问题原因:

hive默认支持按orc文件里面的schema顺序去读取字段,而hetu默认是顺序读取orc文件的字段,所以导致新增字段之后,读取的字段类型不匹配,而导致报错。

解决方法:

hetu有参数hive.orc.use-column-names = true 来控制是否按orc文件的schema顺序来读取字段。需要添加到hive数据源的hive.propreties文件,即console数据源的自定义参数配置。
如果是本地hive,则需要在hsboker的自定义参数。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值