【Hive】生成动态日期序列

一、问题描述

已知开始日期和结束日期,动态生成此范围内的日期序列。具体如下:

二、解决方案

1.原始表 test

create table test as
select 'A' as id, '2019-01-07' as begin_date,  '2019-01-10' as end_date
union all
select 'A' as id, '2019-01-01' as begin_date,  '2019-01-04' as end_date
union all
select 'B' as id, '2019-01-03' as begin_date,  '2019-01-05' as end_date

2.数据处理

(1)计算需要重复的行数n(天数n=结束日期end_date - 开始日期begin_date);

(2)设计一个长度为 n 的数组对象。通过 space(n)函数 生成 n 个空格的字符串,split()函数 以空格为分隔符,将字符串变成含 n 个元素的数组,根据此,这里也可以换成 split(repeat(n, 分隔符),分隔符);

(3)通过udtf函数 posexplode()函数 对数组字段进列转行,同时生成行号 i

(4)最后,根据每行的行号 i,以及开始日期begin_date计算当前日期current_date

select  id, date_add (begin_date, pe.i) as current_date, begin_date, end_date
from test 
lateral view
posexplode(split(space(datediff(end_date, begin_date)),' ')) pe as i, x 
-- space()函数可以换成repeat

[参考]

1.如何在HIVE中生成日期序列?https://xbuba.com/questions/45278300

Hive中,你可以使用内置的日期函数和一些SQL技巧来生成连续的日期。以下是一些方法: 1. 使用序列生成器和日期函数 首先,你可以使用Hive中的序列生成器来生成一系列数字,然后使用日期函数将它们转换为日期。例如,要生成从2021年1月1日到2021年1月31日的日期,可以使用以下查询: ``` SELECT date_add('2021-01-01', seq) as date FROM (SELECT posexplode(split(space(31), ' '))) as s(seq, x) ``` 这将生成一个包含所有日期的表。 2. 使用LATERAL VIEW和日期函数 另一种方法是使用LATERAL VIEW和日期函数来生成连续的日期。例如,要生成从2021年1月1日到2021年1月31日的日期,可以使用以下查询: ``` SELECT date_add('2021-01-01', d) as date FROM (SELECT posexplode(split(space(31), ' '))) as s(seq, x) LATERAL VIEW explode(array(seq)) e as d ``` 这将生成一个与上面相同的包含所有日期的表。 3. 使用CTE和日期函数 最后,你还可以使用公共表表达式 (CTE) 和日期函数来生成连续的日期。例如,要生成从2021年1月1日到2021年1月31日的日期,可以使用以下查询: ``` WITH dates AS ( SELECT date_add('2021-01-01', n) AS date FROM (SELECT posexplode(split(space(31), ' '))) AS s(seq, x) LATERAL VIEW explode(array(seq)) e AS n ) SELECT * FROM dates ``` 这将生成一个与前两个查询相同的包含所有日期的表。 总之,以上是三种在Hive生成连续日期的方法。你可以根据需要选择其中一种。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值