一、column 'XXX' has an invalid type length
表 load数据后,报这个错,hive正常,没思路。发现用spark生成parquet时,schema设置的Decimal的精度和scale和表不一样,改成一模一样的之后,还是报这个错,refresh后就好了。
用hue在hive和impala中查decimal的列,显示的不同,impala是补零,hive不补
二、impala默认时区为UTC的问题
问题描述:
hive中查的时间戳比impala的时间戳晚8个小时,这是因为hive的时区是东八区,而impala是UTC,需要改impala的时区
并且hue和oozie的时区也都不是东八区
https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/impala_timestamp.html
修改
官网说要加2个参数,亲测,只加后面那个就行
--use_local_tz_for_unix_timestamp_conversions=true
-convert_legacy_hive_parquet_utc_timestamps=true
经测试,前面2个--
和1个-
都可以