拉链表解决什么场景下问题,为什么要用拉线表

在数据仓库的数据模型设计过程中,经常会遇到这样的需求:

  • 数据量比较大;
  • 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
  • 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,比如,查看某一个用户在过去某一段时间内,更新过几次等等;
  • 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;
  • 综上所述:引入’拉链历史表’,既能满足反应数据的历史状态,又可以最大程度的节省存储;
select f.id,
	   f.start_date,
	   case when s.id is not null and f.end_date > s.update_date  then 'yesterday' else f.end_date end as end_date
 from fdm_table f 
 left join sdm_table s
 on f.id = s.id 

//新的状态阶段
union all select *,
				update_date as start_date,
				'9999-12-31' as end_date
				 from sdm_table  
				 //where time_create = 'yesterday'
  • https://www.cnblogs.com/zuifangxiu/articles/6475179.html
  • https://www.jianshu.com/p/799252156379
  • http://pylyria.com/2018/07/03/%E6%8B%89%E9%93%BE%E8%A1%A8%E5%8F%8A%E5%85%B6Hive%E5%AE%9E%E7%8E%B0/
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值