Impala中的时间函数

已于 2024-07-10 18:11:03 修改
阅读量4.8k 收藏 31
点赞数
分类专栏： Hadoop篇 Impala 文章标签： 数据仓库 unix 数据库 大数据 数据分析
于 2022-06-13 18:21:40 首次发布
原文链接：https://blog.csdn.net/weixin_43140586/article/details/113698039
版权

持续更新中

Impala和Hive相比，查询速度更快，目前很多公司都会用Impala查询数据仓库的数据。

文章目录

一、时间类型

1、date类型与timestamp类型

一个完整的时间：2022-06-02 10:42:31.46
其中前半部分（2022-06-02）属于date，后半部分（10:42:31.46）属于time；
date类型的字段只支持前半部分，timestamp可用来表示完整格式的时间

2、时区

地球上不同区域使用同一时间标准的定义；常见的世界标准时间（UTC），北京时间（UTC+8）;
时间存储方式：插入时间（当前时区）->UTC（世界标准时间）->输出时间（客户端当前时区）
时区的表示，比如：Asia/Shanghai，America/New_York

二、获取当前时间与指定时间

1、获取当前时间

序号函数输出类型说明
1now()timestamp系统当前时间的时间戳
2current_timestamp()timestamp系统当前时间的时间戳
3unix_timestamp()bigint系统当前时间的时间戳整数形式
4timeofday()string系统当前日期和时间的字符串表示形式
5utc_timestamp()timestamp系统对应UTC时区的当前时间戳
select now(),current_timestamp(), unix_timestamp(), timeofday(), utc_timestamp()

 函数                                 |             输出                         |  
now()                                 2022-06-13 13:52:11.847700000
current_timestamp()                   2022-06-13 13:52:11.847700000  
unix_timestamp()                      1655128331                      
timeofday()                           Mon Jun 13 13:52:11 2022 CST     
utc_timestamp()                       2022-06-13 05:52:11.847700000

2、获取指定时间

序号函数输出类型说明时间颗粒度备注
1year(timestamp/date date)int获取年年
2dayofyear(timestamp/date date)int获取本年第多少天年/日
3quarter(timestamp/date date)int季度（1,2,3,4）季
4month(timestamp/date date)int获取月数月
5monthname(timestamp/date date)timestamp/date月份名称月
6day(timestamp/date date)int获取本月第多少天月/日
7dayofmonth(timestamp/date date)int获取本月第多少天月/日
8last_day(timestamp/date date)string月末最后一天月/日获取每月最后一天，可用于统计每月月末数据
9week(timestamp/date date)int获取周（1-53）周
10weekofyear(timestamp/date date)int获取周（1-53）周按照日历周，从周一到周天为1周，可用于统计每周期间数
11dayofweek(timestamp/date date)int本周第多少天,周日算第一天周/日
12dayname(timestamp/datedate)string获取星期几周/日
13next_day(timestamp/date date,String weekday)timestamp/date获取天（返回下一周指定星期几的日期）周/日String weekday 用于指定星期几
14hour(timestamp date)int获取小时时
15minute(timestamp date)int获取分钟分
16second(timestamp date)int获取秒秒
17millisecond (timestamp date)int获取毫秒毫秒
18extract(timestamp/date date,String unit)bigint获取参数指定的时间单位指定时间单位String unit用于指定时间单位
19extract(unit from timestamp/date date)bigint获取参数指定的时间单位指定时间单位String unit用于指定时间单位
20date_part(string unit，timestamp timestamp)bigint获取参数指定的时间单位指定时间单位String unit用于指定时间单位
21trunc(timestamp/date date,String unit)timestamp/date获取截断为指定单位的时间指定时间单位String unit用于指定时间单位，指定‘MM’可以当作月初第1天
22date_trunc(string unit，timestamp/date date)timestamp/date获取截断为指定单位的时间指定时间单位String unit用于指定时间单位

补充信息：
1、extract的时间单位可以使用如下：YEAR，QUARTER，MONTH，DAY，HOUR，MINUTE，SECOND，MILLISECOND，EPOCH（转成数字类型）【单位不区分大小写】
2、date_part和extract支持的时间单位一致；对于小时，分秒这些都是不知道date类型操作的（因为date只到天） ​
3、date_trunc的时间单位可以使用如下：MILLENNIUM（千年），CENTURY（百年），DECADE（十年），YEAR，MONTH，WEEK，DAY，HOUR，MINUTE，SECOND，MILLISECONDS（毫秒），MICROSECONDS（微妙）【单位不区分大小写】 ​
4、trunc的时间单位可以使用如下：

实现功能Unit
年SYYYY，YYYY，YEAR，SYEAR，YYY，YY，Y
季度Q
月MONTH，MON，MM，RM
天DDD，DD，J
小时HH，HH12，HH24
分钟MI
星期几（星期一）的开始DAY，DY，D
以2022-06-13 16:18:03.647544000为例
--使用示例                    |      对应输出                       | 对应函数序号
year(now())                         2022                              1
dayofyear(now())                    164                               2
quarter(now())                      2                                 3
month(now())                        6                                 4
monthname(now())                    June                               5
day(now())                          13                                 6             
dayofmonth(now())                   13                                 7
last_day(now())                     2022-06-30 00:00:00                8  
week(now())                         24                                 9
weekofyear(now())                   24                                 10
dayofweek(now())                       2                               11
dayname(now())                      Monday                             12
next_day(now(),'monday')            2022-06-20 16:18:03.647544000      13
hour(now())                         16                                 14
minute(now())                       18                                15
second(now())                       3                                 16
millisecond (now())                 647                               17
extract(now(),'month')              6                                 18
extract(month from now())            6                                19
trunc(now(),'month')                2022-06-01 00:00:00               20
date_trunc('month',now())           2022-06-01 00:00:00               21

三、时间计算函数

序号函数输出类型说明时间颗粒度备注
1years_add(timestamp/date date, int/bigint years)timestamp/date增加指定年数年
2years_sub(timestamp/date date, int/bigint years)timestamp/date减少指定年数年
3months_add(timestamp/date date, int/bigint months)timestamp/date增加指定月数月
4months_sub(timestamp/date date, int/bigint months)timestamp/date减少指定月数月
5add_months(timestamp/date date, int/bigint months)timestamp/date增加指定月数月
6weeks_add(timestamp/date date, int/bigint weeks)timestamp/date增加指定周数周
7weeks_sub(timestamp/date date, int/bigint weeks)timestamp/date减少指定周数周
8days_add(timestamp/date startdate, int/bigint days)timestamp/date增加指定天数天
9days_sub(timestamp/date startdate, int/bigint days)timestamp/date减少指定天数天
10date_add(timestamp/date startdate, int/bigint days)timestamp/date增加指定天数天date后面不加s
11date_sub(timestamp/date startdate, int/bigint days)timestamp/date减少指定天数天date后面不加s
12adddate(timestamp/date startdate, int/int days)timestamp/date增加指定天数天date后面不加s
13subdate(timestamp/date startdate，bigint/int days)timestamp/date减少指定天数天date后面不加s
14hours_add(timestamp date, int/bigint hours)timestamp增加指定小时时
15hours_sub(timestamp date, int/bigint hours)timestamp减少指定小时时
16minutes_add(timestamp date, int/bigint minutes)timestamp增加指定分钟分
17minutes_sub(timestamp date, int/bigint minutes)timestamp减少指定分钟分
18seconds_add(timestamp date, int/bigint seconds)timestamp增加指定秒数秒
19seconds_sub(timestamp date, int/bigint seconds)timestamp减少指定秒数秒
20date_add(timestamp/date startdate, interval_expression)timestamp/date使用参数计算日期增量值（增加）特定时间date后面不加s
21date_sub(timestamp/date startdate, interval_expression)timestamp/date使用参数计算日期增量值（减少）特定时间date后面不加s

补充信息：
1、年月周日函数可以用timestamp和date类型，输出与输入类型相同；（比如输入date，输出也是date）
2、interval_expression的表述包含如下：YEAR[S]，MONTH[S] ，WEEK[S] ，DAY[S]， HOUR[S]， MINUTE[S] ，SECOND[S] ，MILLISECOND[S] ，MICROSECOND[S]， NANOSECOND[S] 【表述不区分大小写】
3、示例如下：

--使用示例                    |        对应输出                       |        对应函数序号
years_add(now(),1)              2023-06-13 16:46:21.044102000                 1
years_sub(now(),1)              2021-06-13 16:46:21.044102000                 2           
months_add(now(),1)             2022-07-13 16:46:21.044102000                 3
months_sub(now(),1)             2022-05-13 16:46:21.044102000                 4
add_months(now(),1)             2022-07-13 16:46:21.044102000                 5
weeks_add(now(), 1)             2022-06-20 16:46:21.044102000                 6
weeks_sub(now(), 1)             2022-06-06 16:46:21.044102000                 7
days_add(now(),1)               2022-06-14 16:46:21.044102000                 8
days_sub(now(), 1)              2022-06-12 16:46:21.044102000                 9
date_add(now(), 1)              2022-06-14 16:46:21.044102000                 10
date_sub(now(), 1)              2022-06-12 16:46:21.044102000                 11
adddate(now(),1)                 2022-06-14 16:46:21.044102000                12
subdate(now(),1)                 2022-06-12 16:46:21.044102000                13
hours_add(now(),1)             2022-06-13 17:46:21.044102000                  14
hours_sub(now(),1)             2022-06-13 15:46:21.044102000                  15
minutes_add(now(),1)         2022-06-13 16:47:21.044102000                    16
minutes_sub(now(),1)         2022-06-13 16:45:21.044102000                    17
seconds_add(now(),1)        2022-06-13 16:46:22.044102000                     18
seconds_sub(now(),1)        2022-06-13 16:46:20.044102000                     19
date_add(now(),interval 3 months)   2022-09-13 16:46:21.044102000             20
date_sub(now(),interval 3 hours)     2022-06-13 13:46:21.044102000            21

四、时间比较函数

序号实现功能函数输出类型备注
1返回endDate比startDate多多少天(整数)datediff(timestamp/date enddate, timestamp/date startdate)int输出相差整数的天数
2返回endDate比startDate多多少天(含小数)(unix_timestamp(timestamp/date enddate)-unix_timestamp(timestamp/date startdate) )/3600/24int输出相差小数的天数,小数部分即为相差未满24小时的时间
4返回两个日期相差的整数月份个数int_months_between(timestamp/date t1, timestamp/date t2)int输出相差整数的月数
5返回浮点数的月数相差的数months_between(timestamp/date t1, timestamp/date t2)double小数部分表示未满1月的时间

补充信息
1、计算天数和月份相差的值，都是省略掉time的部分，只比较date的部分；（比如23:59:00和 00:02:00也是差一天）
2、示例如下：

例子                                                                |                  输出结果                  |  
datediff('2022-06-01 12:00:01','2022-05-31 23:25:36')                                         1
(  unix_timestamp('2022-06-01 12:00:01')-unix_timestamp('2022-05-31 23:25:36')  )/3600/24    0.523900462962963
int_months_between('2022-06-01','2022-05-31')                                                 0
months_between('2022-06-01','2022-05-31')                                                    0.032258064516129004

五、时间转换函数

序号函数输出类型说明时间颗粒度备注
1to_date(timestamp date)string返回时间戳对应的date日
2to_timestamp(bigint unixtime)timestamp返回整数对应的timestamp值时间戳
3to_timestamp(string date，string pattern)timestamp返回字符串对应的timestamp值特定时间
4to_utc_timestamp(timestamp t，string timezone)timestamp指定时区的时间戳转化为UTC时区的时间戳时间戳
5from_timestamp(timestamp t，string pattern)string把timestamp按照pattern进行格式化特定时间
6from_timestamp(string date，string pattern)string把date按照pattern进行格式化特定时间在maxcompute中to_char()可以起到同样的效果
7from_unixtime(bigint unixtime)string把时间戳秒数转化为本地地区中的字符串时间戳
8from_unixtime(bigint unixtime，string pattern）string时间戳转化为本地时区字符串，pattern格式特定时间
9from_utc_timestamp（timestamp t，string timezone）timestampUTC时区指定时间戳转化为指定时区时间戳时间戳
10unix_timestamp(string datetime)bigint把string类型的date或日期转化成时间戳Unix时间戳
11unix_timestamp(timestamp datetime)bigint把string类型的timestamp转化成时间戳Unix时间戳impala可用
12unix_timestamp(string datetime，string pattern)bigint日期按pattern转化成时间戳Unix特定时间

补充说明：
1、模式字符串使用说明：

模式描述
y年
M月
d日
H小时
m分钟
s秒
S小数秒
+/-hh:mm时区偏移
+/-hhmm时区偏移
+/-hh时区偏移

2、示例如下

--使用示例                                |        对应输出                       |            对应函数序号
to_date(now())                                   2022-06-13                                1
to_timestamp(1655078400)                      2022-06-13 00:00:00                       2
to_timestamp('2022-06-13','yyyy-MM-dd')          2022-06-13 00:00:00                       3
to_utc_timestamp(now(),'Asia/Shanghai')          2022-06-13 10:13:20.886666000                       4
from_timestamp(now(),'yyyy/MM')                  2022/06                                  5
from_timestamp('2022-06-13','yyyy/MM')           2022/06                                   6
from_unixtime(1655078400)                      2022-06-13 00:00:00                     7
from_unixtime(1655078400,'yyyy/MM')              2022/06                                   8
from_utc_timestamp(now(),'Asia/Shanghai')        2022-06-14 02:13:20.886666000                       9   
unix_timestamp('2022-06-13')                     1612368000                                10
Jerry Hong
关注
  • 0
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
impala常用时间函数大全（超详细）
hua_ge_zui_liang的博客
09-29 1万+
本文目录时间函数 时间函数 当前时间戳 now() current_timestamp() 当前时间戳相对于 linux epoch 的秒数 unix_timestamp() , 不带参数, 则返回 '1970-01-01 00:00:00' UTC 到现在的秒数 转换到相对于 linux epoch 的秒数 unix_timestamp(now()+ interval 3 days), 如果传入 timestamp 参数, 返回该时间戳相对于 linux epoch 的秒数 unix_timestam
impala常用时间函数
qq_61973250的博客
02-14 2962
impala时间函数
impala获取当前日期的前一天
最新发布
smile_more的博客
04-26 258
impala获取当前日期,格式为yyyy-MM-dd ：impala获取当前日期的前一天：
Impala时间转换to_date、to_timestamp
王世洪的博客
11-10 1万+
在时间的运算上，也常常使用到日期格式的转换，如日期字符串转为日期型，日期转为格式化字符串，是两种常见的需求；另外也有需要将时间转为时间戳的场景等等；把string类型的timestamp转化成时间戳Unix。把string类型的date或日期转化成时间戳Unix。指定时区的时间戳转化为UTC时区的时间戳。UTC时区指定时间戳转化为指定时区时间戳。，即可满足日期字符串转为日期型的需求；把时间戳秒数转化为本地地区中的字符串。，可以满足具有时间戳要求的场景；时间数据的转换上，主要用。返回时间戳对应的date。
Impala常用时间转换函数
qq_44002865的博客
11-23 1622
Impala常用时间转换函数
Impala常用函数
ZYN7979的博客
01-30 3489
impala字符串函数与时间函数
impala中的时间戳 TIMESTAMP类型用法（转载网上电子书）（不是我原创）
zy103118的博客
08-31 6367
查看一个日期是第几周和星期几 日期计算 查询指定日期是多少号 查询两个日期差了多少天 查询当前时间 时间戳常量和隐式转换 ...
impala-2.1
01-21
2. SQL兼容性：Impala 2.1增强了对标准SQL的支持，使得开发人员可以更方便地从其他关系型数据库迁移，同时提供了丰富的SQL函数，以满足各种数据分析需求。 3. 安全性提升：此版本加强了身份验证和授权机制，支持...
drill-parquet-timestamp:UDF 将 Impala Int96 时间戳转换为 Drill 时间戳
06-10
本主题将深入探讨如何在 Drill 中使用用户定义函数（UDF）将 Impala 的特殊时间戳格式 Int96 转换为 Drill 可识别的时间戳。 Int96 是 Parquet 文件格式中用于存储时间戳的一种特殊类型，它占用 12 字节，并且是 ...
aquila:迁移工具，目标是Oracle，MySQL，SqlServer到PostgreSQL单项迁移，PostgreSQL和大数据平台Hive，Hbase，Impala等的双向迁移
07-09
此外，迁移过程中还要考虑SQL Server特有的函数和存储过程的兼容性问题。 四、PostgreSQL到大数据平台迁移 Aquila的双向迁移功能意味着它也能将PostgreSQL的数据迁移到大数据环境。例如，它可以将PostgreSQL的数据...
sql动态行转列 存储过程
11-21
可以使用`OPENROWSET`函数（在SQL Server中）或`LOAD DATA INFILE`（在MySQL中）等命令读取Excel文件并插入到新建的表中。 假设我们的表格结构如下： ``` | ID | Year | Sales | |----|------|-------| | 1 | 2020...
Date、String、Timestamp之间的转换
09-02
Date、String、Timestamp之间的转换 ；里面有详细易懂的转换方法，供大家参考
神策标签生产引擎架构.pdf
03-04
报告中还提到了基于有限流的标签计算方法，即Event-User数据流模型，采用Impala和HDFS（parquet格式）作为底层计算引擎，标签规则引擎将标签定义转化为高效的SQL，利用Impala的分析函数执行特定计算规则。...
大数据 虚拟机 Linux VM复习题库:题库包括了60题选择题、10题填空题、10题判断题、2题简答题，助你度过期末复习
07-02
Hive适合长时间批处理，Impala适合实时查询；两者共享相同元数据，但Impala内存不足时不会使用外存；Hive和Impala的SQL解释处理相似，但Impala性能更快。 8. **Hive的排序方式**： - `order by`全局排序，需所有...
大数据分析关键技术概述.pptx
09-21
Impala可以直接读取HDFS或HBase中的数据，提供SQL接口，与Hive相比，Impala的查询速度更快，更适合即席查询。Hive则构建在Hadoop之上，提供了SQL-like的语言HiveQL，通过ThriftServer进行JDBC连接，元数据存储在关系...
SPARK2.3.rar
11-02
1. SQL增强：Spark SQL是Spark处理结构化数据的主要模块，在2.3版本中，对SQL支持进一步加强，包括DataFrame API的改进，提供了更丰富的函数库，如窗口函数、日期时间处理等，使得数据分析更加灵活。 2. 性能优化：...
impala保存时间类型timestamp---NanoTimeUtils根据JdateTime生成nanotime
u012995897的博客
08-04 4052
注意时区：不同时区生成的结果不同/** * 创建日期：2017-8-4 * 包路径：org.meter.parquet.NanoTimeUtils.java * 创建者：meter * 描述： * 版权：copyright@2017 by meter ! */ package org.meter.parquet; import java.sql.Timestamp; import ja
Impala 时间戳相减
热门推荐
kuangzhi9124的博客
08-30 1万+
统计用户在线时长时，需用下线时间减去上线时间，数据库显示时间类型为TIMESTAMP，实际显示为2018-08-29 12:50:36.000000000，使用datadiff函数，失败，首先将将这个转换为时间戳，再相减，即可得到 select id,(unix_timestamp(offline_time)-unix_timestamp(online_time))`在线时长/秒` From ...
impala时间戳转时间的时区问题
anyitian的博客
05-20 2556
问题 在使用impala的过程中，发现impala时间戳转日期时间会比按照北京时间转出来的时间少8个小时，查询得知，impala默认配置为世界时间（UTC），和东八区差了8个小时。 解决办法 impala启动时加 -use_local_tz_for_unix_timestamp_conversions=true。在cdh里面，impala->配置->mpala Daemo ->Impala Daemon 命令行参数高级配置代码段（安全阀） 加 -use_local_tz_for_unix
impala时间戳函数
08-27
Impala提供了一些用于处理时间戳的函数。以下是一些常见的时间戳函数示例： 1. `current_timestamp()`: 返回当前的时间戳。 2. `unix_timestamp()`: 返回当前时间的UNIX时间戳（以秒为单位）。 3. `from_unixtime(unix_time[, format])`: 将UNIX时间戳转换为日期时间格式。`format`参数是可选的，用于指定返回的日期时间格式，默认为"yyyy-MM-dd HH:mm:ss"。 4. `to_unix_timestamp(string[, format])`: 将日期时间字符串转换为UNIX时间戳。`format`参数是可选的，用于指定输入日期时间字符串的格式，默认为"yyyy-MM-dd HH:mm:ss"。 5. `year(timestamp)`: 返回给定时间戳的年份。 6. `month(timestamp)`: 返回给定时间戳的月份。 7. `day(timestamp)`: 返回给定时间戳的日期。 8. `hour(timestamp)`: 返回给定时间戳的小时。 9. `minute(timestamp)`: 返回给定时间戳的分钟。 10. `second(timestamp)`: 返回给定时间戳的秒数。 这些函数可以帮助你在Impala中处理和转换时间戳数据。请注意，时间戳可以是Impala支持的日期时间格式或UNIX时间戳格式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值