拉链表
从应用场景+实现流程+技术细节方面介绍
拉链表:维护历史状态与最新状态数据的一种表
#1.应用场景:
(1)有一些表的数据量很大,不能经常覆盖
(2)较短有效时间内,同时存在修改和新增两种情况
2.实现流程: ·
日期记录最新修改时间,用状态值来表示这一时间节点下的状态
通常在数仓的ods层设计一张历史记录表,这张历史记录表就是按照固定的周期从关系型数据库中,把最新的数据给采过来,这张历史数据表在第一次采集的时候会把所有的历史记录采集过来,以后每次的操作都是基于历史记录向下操作(第一次全量采集,第二次开始增量采集),采用覆盖的模式,不存历史数据。
在dwd 层,设计一张截止到当前的最新记录表,这张表要记录所有截止到当下的最新数据,包括新增数据和对历史记录修改的数据,而且对于拉链表的设计,我们需要这张表是分区表,存储格式可以带压缩格式,同时这张表需要开启事务的支持tblproperties(“transactional”=“true”),此表设计之后在这张表中会出现另一个日期或日期+状态的字段,从而以最小的代价记录每一条数据最新的状态。
在dwd表中加1个字段还是2个字段
3.技术实现细节:
代码操作之前要设置hive运行环境,
开启分区(设置动态模式)
set hive.exec.dynamic.partition=true
set hive.exec.dynamic.partition.mode=nonstrict
同时开启分桶
set hive.enforce.bucketing=true;
开启事务的服务:临时把事务开启
采用merge into对历史记录不存在的通过关联字段去做检验(相同主键),例如订单编号存在了就更新,不存在就新增
#拉链表具体实现:
#每日订单全量导入
sqoop import \
--connect jdbc:mysql://101.132.47.155:3306/db_shop12 \
--driver com.mysql.jdbc.Driver \
--username root \
--password kb12 \
--query "select O.order_id,O.order_user_id,O.order_create_date,S.order_status,S.order_modify_date from user_order O inner join user_order_status S on O.order_id=S.fk_order_id and date(O.order_create_date)<=adddate(current_date(),-1) and date(S.order_modify_date)<=adddate(current_date(),-1) where \$CONDITIONS"