本文档主要通过一个实操案例,来介绍在阿里云大数据治理平台DataWorks上,基于大数据计算引擎MaxCompute来设计并实现数据仓库的一种数据模型—拉链表。
在实操之前,文档告知了一些信息,包括“前提条件”、“注意事项”、“适用场景”,以及对拉链表的介绍:
因为可以记录并保留事物从初始到当前,所有发生变化的时间点以及变化的状态,形成了一条条包含时间和状态的“链”,故称这种数据模型为“拉链表”。
案例描述:
实现一个拉链表来记录电商订单从开始到当前状态(创建/支付/完成)的所有变化信息。
涉及到两张表:
- 交易下单表:也称之为“增量表”,每日新增的订单数据,举个例子:2023-10-06(当日),001订单“创建”,002订单”支付“。
- 拉链表:全量有效或失效的订单数据。注:有效是指订单当前的最新状态,失效是指订单的历史状态。
案例包括3个阶段来细致的介绍平台上各个组件的使用:
- 任务开发
- 运行业务流程
- 结果查询
第一个阶段任务开发包括4个步骤:
- 准备工作:介绍了在开发页面上创建一个业务流程,以及本次案例需要的组件(管理业务流程的虚拟节点和执行sql的ODPS SQL)
- 交易下单表数据准备:介绍如何创建虚拟节点,以及ODPS SQL节点,在该节点上编写SQL代码来导入测试数据到“交易下单表”。
- 拉链表实现:创建一个新的ODPS SQL节点,在该节点上编写拉链表导入逻辑的SQL代码,并介绍了拉链表数据加载的逻辑。
- 拉链表的使用:创建一个新的ODPS SQL节点,在该节点上编写查询拉链表的SQL代码。
附:拉链表数据加载的逻辑:
- 业务日期当日,在增量表中一个订单被更新过,那么拉链表中该订单的有效数据“修改”成失效。
- 业务日期当日,增量表中新增所有订单数据直接插入拉链表中,并设置状态为有效。
- 通过ROW_NUMBER() OVER() 筛选出首个来支持任务重跑不出现冗余数据。
第二个阶段运行业务流程,是将刚才设计好的拉链表发布到生产环境,并在”运维中心“通过“补数据”操作来实现业务数据的回刷。
第三个阶段结果查询,在“运维中心”运行sql后可以在日志中查看运行结果。
文档的最后,介绍了本案例已内置到“ETL工作流模板”,并指出模板的载入路径,同时还介绍了释放资源以及文档中相关概念的文档链接。