Hive下数据仓库历史拉链表如何加工，分区键该如何选择

 

1 缓慢变化维

说到历史拉链表，首先得说下缓慢变化维。

在现实世界中，维度的属性并不是静态的，而是随着时间的变化而变化，这也体现了数据仓库的特点之一，是反映历史变化的。相对于数据增长较为快速的事实表，维度的变化是相对缓慢的。

在维度建模理论中，处理缓慢变化维有三种方式：

1. 新的维度属性直接覆盖旧的维度属性，不保留历史数据；
2. 增加新的维度行（需要生成代理键来支持），维度变化前的事实关联变化前的维度值，维度变化后的事实关联变化后的维度值。缺点是无法归一为变化前的维度值或者变化后的维度值进行统计；
3. 增加维度列，即针对维度的某一属性时，在设计表时需要至少包含两列，新属性和旧属性。优点是可以根据业务需求进行不同的归一化处理，缺点是扩展性不好，保留的维度历史数据有限。

2 历史拉链表

而历史拉链存储恰恰是对第二种方式的一种升级，同样是以增加新的维度行来实现，不同的是使用时间键来代替代理键。时间键包含两个字段，开始时间和结束时间，一般以天为粒度保留变更的维度数据。

2.1 查询方式

• 查询当前最新状态维度数据：select * from table_name where end_day = ‘30001231’
• 查询某一天的维度状态数据：select * from table_name where start_day <= ‘20200201’ and end_day > '20200201'

2.2 加工方式

假设商品历史拉链