分区拉链表

最新推荐文章于 2024-07-05 07:30:00 发布

Hub-Link

最新推荐文章于 2024-07-05 07:30:00 发布

阅读量4.9k

点赞数 7

分类专栏： Hive 文章标签： hadoop hive big data

本文链接：https://blog.csdn.net/NC_NE/article/details/122707932

版权

本文介绍了大数据场景下，针对数据量庞大的表如何设计存储方案。分析了只保留最新全量数据、每天保留一份全量数据以及使用拉链表三种方案的优缺点。重点讲解了分区拉链表的实现流程，包括拉链表总过程、分区规划和数据流向，并给出了在ODS和DWD层的SQL建表及数据加载实例。

摘要由CSDN通过智能技术生成

一、数据场景

在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：

有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的话就更大一些。
表中的部分字段会被update更新操作，如用户联系方式，产品的描述信息，订单的状态等等。
需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态。
表中的记录变化的比例和频率不是很大，比如，总共有10亿的用户，每天新增和发生变化的有200万左右，变化的比例占的很小。

二、方案实现分析

方案一：只保留一份最新的全量数据

优点：

实现简单，每天drop掉前一天的数据，重新抽一份最新的全量
节省空间，不用多分区。

缺点：无历史数据。

方案二：每天保留一份最新的全量数据

优点：

实现简单，基于方案一，不drop前一天的数据，每天一个分区保存最新全量
可以查历史数据

缺点：存储空间占用太大

方案三：使用拉链表

优点：兼顾了历史数据和存储空间，既能获取历史数据也能筛选最新数据。

缺点：在数据量较大且资源有限的情况下对数据的合并耗时且表的设计有一定的要求(分区)

三、分区拉链表实现流程

（1）、拉链表总过程

在这里插入图片描述

（2）、分区规划

在这里插入图片描述

（3）、数据流向

在这里插入图片描述

四、分区拉链表sql实现

（1）建表

ods层建表 ods_user_info_inc （分区表，每天一个分区，存储的是新增和修改的数据）

drop table if exists ods_user_info_inc;
create external table if not exists ods_user_info_inc(
  id string comment '主键',
  name string comment '用户名',
  phone_num string comment '手机号码',
  create_time string comment '创建日期',
  operate_time string comment '修改日期'
)
PARTITIONED BY (dt STRING)
ROW FORMAT delimited