impala-traps

一、column 'XXX' has an invalid type length

表 load数据后,报这个错,hive正常,没思路。发现用spark生成parquet时,schema设置的Decimal的精度和scale和表不一样,改成一模一样的之后,还是报这个错,refresh后就好了。

用hue在hive和impala中查decimal的列,显示的不同,impala是补零,hive不补

二、impala默认时区为UTC的问题

问题描述:

hive中查的时间戳比impala的时间戳晚8个小时,这是因为hive的时区是东八区,而impala是UTC,需要改impala的时区
并且hue和oozie的时区也都不是东八区
https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/impala_timestamp.html

修改

官网说要加2个参数,亲测,只加后面那个就行
--use_local_tz_for_unix_timestamp_conversions=true
-convert_legacy_hive_parquet_utc_timestamps=true
经测试,前面2个--和1个-都可以
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值