“缓慢变化维“初认知

"缓慢变化维" : 在DIM层中,一些维度表的数据并不是固定不变的,而是会随着时间,随着批量的进行发生缓慢的变化的,这种缓慢变化的维度称作"缓慢变化维"(SCD).

举例:

以下为简化的用户信息维表

用户可以操作账户,修改自己的uname,使得维表的uname数据发生变化,对此有以下几种解决方案;

1.修改原始属性值->即修改维表里uname的值为最新值.这种情况会造成历史数据的丢失,重跑数据的情况下关联不上历史数据,生成错误的数据,并不推荐使用.

2.保留原始属性值->即保留原来的uname.这种情况直接忽视了"缓慢变化维"的"变化"二字,将维表默认为静态表.不推荐使用.

3.创建新表->新表中保留新的维度信息,这种情况会增加数据的关联,延长任务时间;并且如果维表每次有一条数据变化,就需要创建一张新表,明显增加了工作量和数仓不稳定性.不推荐.

4.创建新列->在原来的表中创建一个新的属性,保存变化后的uname.这种情况虽然保留了历史,但是对维表的频繁DDL操作并不符合数仓设计的规范,和创建新表一样,也会增加数仓的报错风险.不推荐.

5.添加新记录->在原来的表中添加一条新的维度记录,主键大于原来的主键,若要取最新数据可按照主键求max,也可以在维表上维护开始和结束时间两个字段(类似于拉链表),通过时间取不同时段的维度信息.推荐使用.