hive时间维度表

with date_range as (
    select date_add("2021-01-01", a.pos) as d
from (
   -- 日期范围
   select posexplode(split(repeat("@", datediff("2022-12-31", "2021-01-01")), "@"))
     ) a
)


select
    -- date_format(d, 'yyyyMMdd') as date_key,
     d as `date`,
    weekofyear(d) as week_id,
    date_format(d,'EE') as week_day,
    date_add(d,1 - case when dayofweek(d) = 1 then 7 else dayofweek(d) - 1 end) as week_first_day,
    date_add(d,7 - case when dayofweek(d) = 1 then 7 else dayofweek(d) - 1 end) as week_last_day,

    concat(date_add(d,1 - case when dayofweek(d) = 1 then 7 else dayofweek(d) - 1 end),
         '-',
         date_add(d,7 - case when dayofweek(d) = 1 then 7 else dayofweek(d) - 1 end)) as week_range,

    date_format(d,'M') as month,
    trunc(d,'MM') as month_first_day,
    last_day(d) as month_last_day,
    concat(trunc(d,'MM'),'-',last_day(d)) as month_range ,
    year(d) as year,
    quarter(d) as quarter,
    to_date(concat(year(d),'-',lpad(ceil(month(d)/3) * 3 -2,2,0),'-01')) AS quarter_first_day,
    last_day(to_date(concat(year(d),'-',lpad(ceil(month(d)/3) * 3,2,0),'-01'))) AS quarter_last_day,
    concat(to_date(concat(year(d),'-',lpad(ceil(month(d)/3) * 3 -2,2,0),'-01')),
        '-',
        last_day(to_date(concat(year(d),'-',lpad(ceil(month(d)/3) * 3,2,0),'-01')))) as quarter_range,
    trunc(d,'YY') as year_first_day,
    last_day(add_months(trunc(d,'YY'),11)) as year_last_day,
    concat(trunc(d,'YY'),'-',last_day(add_months(trunc(d,'YY'),11))) as year_range
from date_range;
  • 4
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive是一个开源的数据仓库和查询工具,用于将大数据处理和分析集成在Hadoop生态系统中。拉链表是一种在Hive中实现的数据处理技术,主要用于处理维度数据的历史变化。 拉链表的实现思路是将每个维度表根据指定的生效日期和失效日期进行拆分,生成多个对应不同时间段的维度数据,以保留维度表的历史变化记录。在Hive中,可以通过以下步骤来实现拉链表: 1. 创建维度表和事实表:首先,创建维度表和事实表的Hive表。维度表用于存储维度字段的详细信息,例如员工表、产品表等;事实表用于存储与维度表关联的度量数据,例如销售事实表。 2. 设计拉链表结构:在维度表中添加生效日期(start_date)和失效日期(end_date)字段,用于标识每条记录的有效时间段。通常,失效日期为空或未来日期表示当前有效数据。 3. 插入初始数据:将初始数据插入维度表,即没有历史记录的部分。在start_date字段中填写最早的日期,end_date字段中填写NULL或未来日期。 4. 插入新数据:当维度表中的记录有更新或新增时,需要按照拉链表的原则进行插入。具体操作是将原有的生效日期字段(start_date)的end_date字段更新为当前日期,并将新数据插入到维度表中。 5. 查询数据:在查询维度表和事实表时,可以通过使用日期条件和JOIN操作,将最近生效的维度数据关联到事实数据上,以获得正确的历史维度信息。 拉链表的实现使得Hive可以处理维度数据的历史变化情况,并提供了便捷的方式来查询和分析历史数据。它对于构建具有时间依赖性的报表和分析非常有用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值