什么是拉链表

拉链表既能反应数据的历史状态,又可以最大程度的节省存储,主要用于以下场景:

  1. 数据量比较大;
  2. 表中的部分字段会被更新,如用户的地址、产品的描述信息、订单的状态等;
  3. 需要查看某一个时间点或时间段的历史信息。比如查看某一个订单在历史某一个时间点的状态;
  4. 变化的比例和频率不是很大。如总共有1000万的会员,每天新增和发生变化的有10万左右;

如果对这样类型的表每天都保存一份全量数据,那么每次全量中会保存很多不变的信息,对存储是极大的浪费。

示例

有一张订单表,6月20号有3条记录:

订单创建日期订单编号订单状态
2012-06-20001创建订单
2012-06-20002创建订单
2012-06-20003支付完成

到6月21号表中有5条记录:

订单创建日期订单编号订单状态
2012-06-20001支付完成(从创建到支付)
2012-06-20002创建订单
2012-06-20003支付完成
2012-06-21004创建订单
2012-06-21005创建订单

到6月22号表中有6条记录:

订单创建日期订单编号订单状态
2012-06-20001支付完成(从创建到支付)
2012-06-20002创建订单
2012-06-20003已发货(从支付到发货)
2012-06-21004创建订单
2012-06-21005支付完成(从创建到支付)
2012-06-22006创建订单

数据仓库中对该表的保留方法:

  • 只保留一份全量,则数据和6月22日的记录一样,如果需要查看6月21日订单001的状态,则无法满足;
  • 每天都保留一份全量,则数据仓库中的该表共有14条记录,但好多记录都是重复保存,没有任务变化,如订单002,004,数据量大了,会造成很大的存储浪费;

如果在数据仓库中设计成历史拉链表保存该表,则会有下面这样一张表:

订单创建日期订单编号订单状态dw_begin_datedw_end_date
2012-06-20001创建订单2012-06-202012-06-20
2012-06-20001支付完成2012-06-219999-12-31
2012-06-20002创建订单2012-06-209999-12-31
2012-06-20003支付完成2012-06-202012-06-21
2012-06-20003已发货2012-06-229999-12-31
2012-06-21004创建订单2012-06-219999-12-31
2012-06-21005创建订单2012-06-212012-06-21
2012-06-21005支付完成2012-06-229999-12-31
2012-06-22006创建订单2012-06-229999-12-31

说明:

  • dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间;
  • dw_end_date = '9999-12-31’表示该条记录目前处于有效状态;
  • 如果查询当前所有有效的记录,则select * from order_his where dw_end_date = ‘9999-12-31’
  • 如果查询2012-06-21的历史快照,则select * from order_his where dw_begin_date <= ‘2012-06-21’ and end_date >= ‘2012-06-21’,这条语句会查询到以下记录:
订单创建日期订单编号订单状态dw_begin_datedw_end_date
2012-06-20001支付完成2012-06-219999-12-31
2012-06-20002创建订单2012-06-209999-12-31
2012-06-20003支付完成2012-06-202012-06-21
2012-06-21004创建订单2012-06-219999-12-31
2012-06-21005创建订单2012-06-212012-06-21

和源表在6月21日的记录完全一致:

订单创建日期订单编号订单状态
2012-06-20001支付完成(从创建到支付)
2012-06-20002创建订单
2012-06-20003支付完成
2012-06-21004创建订单
2012-06-21005创建订单

可以看出,这样的历史拉链表,既能满足对历史数据的需求,又能很大程度的节省存储资源。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GraysonWP

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值