由于甲方人员使用sqoop抽数据,把时间类型自动转换成了时间戳,而且是毫秒级别的。。
于是我们尝试使用hive的时间戳方法转换成日期
select from_unixtime(cast(-2114409600000/1000 as int),'yyyy-MM-dd HH:mm:ss')
--1903-01-01 00:00:00
select from_unixtime(cast(-2209017600000/1000 as int),'yyyy-MM-dd HH:mm:ss')
--1901-12-14 04:45:52
如上所见,1903-01-01 00:00:00转换是没问题的,但是
1900-01-01 00:00:00转换时,出现问题!!!
本身这个时间用不到也没关系,由于我们是分区表(按照年月分区)
直接导致原来的190001分区无法被覆盖!!!
而且日期不对,存在很大安全隐患,急需解决。。。
最终发现,当时间戳超过int最大值(21亿左右)是时候就会存在问题,因此需要使用bigint才行
select from_unixtime(cast(-2209017600000/1000 as bigint),'yyyy-MM-dd HH:mm:ss')
--1900-01-01 00:00:00