通俗易懂的数仓拉链表设计模式详解

目录

1 技术背景

2 解决方案

3 拉链表的设计

3.1功能与应用场景

3.2 实现过程

3.3 拉链表的实现

3.1数据准备

3.2 增量采集

3.3 合并数据

3.3 生成最新拉链表

4 拉链表优化问题

5 小结

---

1 技术背景

所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

Hive的主要作用就是构建离线数据仓库，此时就需要定期的不断的从各种数据源同步数据到数据仓库。例如，每天需要从MySQL中同步最新的订单信息、用户信息、店铺信息等到数据仓库中，进行订单分析、用户分析。

数据仓库的数据模型设计过程中，经常会遇到这样的需求：

•     表中的部分字段会被update，例如：

        用户的地址，产品的描述信息，品牌信息等等;

•     需要查看某一个时间点或者时间段的历史快照信息，例如：

        查看某一个产品在历史