HIVE中如何计算两个日期间的差距:天,分钟
前言
这是我的第一篇在CSDN上发布的博客,主要介绍一下最近在工作上涉及到的在Hive中利用HQL进行日期计算的一些心得。
问题与解决
计算两个日期之间的天数差距:
在Hive中计算时间差距我们会采用hive提供的内置时间函数:datediff(time1,time2),time1以及time2是可以被解析为时间戳的日期字段,符合常用的时间格式即可,类似于yyyy-MM-dd HH:mm:ss 。并且该内置函数所计算得到的日期差距的最小颗粒度为天
查询user表中hive分区为2019-04-12的记录中两个日期差距在一天到七天以内的记录数量:
SELECT count(*) as num FROM user WHERE datediff(time1,time2) >= 1 AND datediff(time1,time2) <=7 AND `date` = '2019-04-12'
计算两个日期之间的分钟差距:
由于Hive中提供的日期计算函数的最小颗粒度为天数,因此计算两个日期之间的分钟差距就需要利用时间戳来进行计算。unix_timestamp(time, ‘yyyy-MM-dd HH:mm’):该函数将时间字段time转换为精确到秒的时间戳,两个这样的时间戳相减即可得到日期之间的秒数差距,然后除以60即可得到分钟差距。
查询user表中hive分区为2019-04-12的记录中两个日期差距在5分钟到60分钟以内的记录数量:
SELECT count(*) as num FROM jabber_raw_recordlatency WHERE (unix_timestamp(time1,, 'yyyy-MM-dd HH:mm') - unix_timestamp(time2, 'yyyy-MM-dd HH:mm'))/60 >= 5 AND (unix_timestamp(time1,, 'yyyy-MM-dd HH:mm') - unix_timestamp(time2, 'yyyy-MM-dd HH:mm'))/60 <= 60 AND `date` = '2019-04-12'
后记
后续工作中用到的相关内容,我还会继续补充添加,谢谢!