基于MaxCompute的拉链表设计

背景信息：

在数据仓库的数据模型设计过程中，经常会遇到这样的需求：

1. 数据量比较大;
2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态、手机号码等等;
3. 需要查看某一个时间点或者时间段的历史快照信息。（比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等）
4. 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右;如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;
5. 我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。
   

　

综上所述：引入'拉链历史表'，既能满足反应数据的历史状态，又可以最大程度的节省存储。

（备注：在阿里巴巴内部很大程度上是基于存储换计算来提供开发的效率及易用性，因为在当今，存储的成本远低于CPU和内存。因此在阿里巴巴内部会采用快照的方式将每日的全量数据进行快照，同时也会通过极限存储的方式，压缩率高，在合适的场景下，约能压缩为原始数据的1/30。）

Demo数据

以下只是demo如何在MaxCompute中实现拉链表，所以是基于一些假设：

• 同一天中同一订单只有一个状态发生；
• 基于20150821及之前的数据并没有同一个订单有两个状态的最简单场景模拟；
• 且数据源在阿里云RDS for Mysql中。且表明为orders。

原文链接