一、数据场景
在数据仓库的数据模型设计过程中,经常会遇到下面这种表的设计:
- 有一些表的数据量很大,比如一张用户表,大约10亿条记录,50个字段,这种表,即使使用ORC压缩,单张表的存储也会超过100G,在HDFS使用双备份或者三备份的话就更大一些。
- 表中的部分字段会被update更新操作,如用户联系方式,产品的描述信息,订单的状态等等。
- 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态。
- 表中的记录变化的比例和频率不是很大,比如,总共有10亿的用户,每天新增和发生变化的有200万左右,变化的比例占的很小。
二、方案实现分析
方案一:只保留一份最新的全量数据
优点:
- 实现简单,每天drop掉前一天的数据,重新抽一份最新的全量
- 节省空间,不用多分区。
缺点:无历史数据。
方案二:每天保留一份最新的全量数据
优点:
- 实现简单,基于方案一,不drop前一天的数据,每天一个分区保存最新全量
- 可以查历史数据
缺点:存储空间占用太大
方案三:使用拉链表
优点:兼顾了历史数据和存储空间,既能获取历史数据也能筛选最新数据。
缺点:在数据量较大且资源有限的情况下对数据的合并耗时且表的设计有一定的要求(分区)
三、分区拉链表实现流程
(1)、拉链表总过程
(2)、分区规划
(3)、数据流向
四、分区拉链表sql实现
(1)建表
- ods层 建表 ods_user_info_inc (分区表,每天一个分区,存储的是新增和修改的数据)
drop table if exists ods_user_info_inc;
create external table if not exists ods_user_info_inc(
id string comment '主键',
name string comment '用户名',
phone_num string comment '手机号码',
create_time string comment '创建日期',
operate_time string comment '修改日期'
)
PARTITIONED BY (dt STRING)
ROW FORMAT delimited