数仓入门基础-9-缓慢变化维

缓慢变化维的提出是因为维度的属性并不是静态的,他会随着时间线延长发生缓慢的变化。
常用的三种处理方式:

1.重写维度值,不保留历史,始终取最新数据。
2.插入新的维度行,历史事实数据与历史维度关联,新的事实数据与新的维度关联。
3.插入新的维度列

举个🌰:有一个商店店铺,20191101类目是A,20191102更改为B。

商店id类目其他属性日期
1000A...20191101

第一种处理方式,结果如下:

商店id类目其他属性日期
1000B...20191102

第二种处理方式,结果如下:

商店id类目其他属性开始日期结束日期
1000A...2019010120191101
1000B...2019110299991202

第三种处理方式,结果如下:

商店id类目其他属性新类目日期
1000A...B20191102

三种方式在建模时择优使用,对比一下这三种方式
1.第一种方式,比较常用的就是快照,每个分区保留一份全量数据,使用时间维度限制关联维度key,优点:简单有效,开发维护成本低,使用方便清晰,缺点:存储浪费, 但可使用生命周期管理,对其做一定的优化,这也是一般常用的方法。
2.第二种方式,比较常用的就是拉链表,通过时间范围对其做进行关联,优点:极大地压缩了存储的成本,又保留了历史数据,缺点:对于下游使用不友好,可通过视图的方式进行打平的方式进行透明化操作,如同使用全量表,对于变化频率高的数据达不到节约成本的效果。对于变化频率高的字段需过滤单独处理。
3.第三种方式,暂时没怎么用过,对于这种显而易见,优点:对于特殊场景下比较可用,比如查看商品变更前的价格,缺点:不便利,变一次加一个字段。

更多资料请关注公众号:【任乌拉】


8940211-e6fcb59338c4b69b.png
任乌拉
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值