数据仓库之维度

变化维度

缓慢变化维度(SCD)

SCD处理方法一般有三种
scd分析

覆盖旧记录

如果符合要求,这是最简单的处理方式

添加一列

xx, yy, new_attr, old_attr
优势: 省空间,把变化前后的属性放在一起,能直观的反映属性的变化
劣势: 只能追溯前一次的属性,也就是只能反映属性的一次变化

拉链表

拉链表,极限存储,但是无需为了拉链而拉链。能用第二种方法解决就无需拉链。大部分场景都是反映最近一次的变化。
拉链表实施
拉链表更新策略
拉链表

混合表

就是在拉链表中不仅加上start_time,end_time,还加上valid以及old_attr属性列
这样就结合了方法二和方法三的优势

快速变化维度(RCD)

在这种情况下,直接可以将快速变化维度拆出来,单独做一张表。

参考资料

scd/rcd
参考资料

层级维度

层级表与打平表的讨论

层级表是通过纵向添加记录的方式来实现层级的灵活变化,打平表如果要增减层级是需要修改表结构的。
优:从这一点而言,层级表非常灵活的支持了扩展,尤其是在类似评论这种无限层级扩展的业务场景下。层级表还有一个打平表无法实现的功能,就是跨层级多选。
劣:但是层级表和事实表关联的时候,会使得数据翻倍。

父子层级表

闭包表与桥接表

全路径

抓换

层级表与非层级表的转化

max level

父子层级表转化为闭包表

父节点中有set,通过递归从叶子节点开始,每个节点算出自己的叶子节点。

特殊场景维度

有些维度是和交易流水耦合在一起,比如订单的发生的时段,就是和流水表耦合在一起的。

维度建模总结

转维度建模总结

要想在百度八亿网页的数据海洋找到你所要的信息, 人工方式需要1200 多人年,而百度搜索技术不到1 秒钟。人 们被数据淹没,却渴望知识。商务智能技术已成为当今企业 获取竞争优势的源泉之一。商务智能通常被理解为将企业 现有的数据转化为知识,帮助企业做出明智决策的IT工具集。 其数据仓库、OLAP和数据挖掘技术是商务智能的重要组成 部分。商务智能的关键在于如何从众多来自不同企业运作系 统的数据,提取有用数据,进行清理以保证数据的正确性, 然后经过抽取、转换、装载合并到一个企业级的数据仓库里, 从而得到企业数据的一个全局视图,并在此基础上利用适当 的查询分析、数据挖掘、OLAP等技术工具对其进行分析处理, 最终将知识呈现给管理者,为管理者的决策过程提供支持。 可见,数据仓库技术是商业智能系统的基础,在智能系统开 发过程,星型模式设计又是数据仓库设计的基本概念之一。 星型模式是由位于央的事实和环绕在四周的维度表 组成的,事实的每一行与每个维度表的多行建立关系, 查询结果是通过将一个或者多个维度表与事实结合之后产 生的,因此每一个维度表和事实都有一个“一对多”的连 接关系,维度表的主键是事实的外键。随着企业交易量 的越来越多,星型模式的事实数据记录行数会不断增加, 而且交易数据一旦生成历史是不能改变的,即便不得不变动, 如对发现以前的错误数字做修改,这些修改后的数据也会作 为一行新纪录添加到事实。与事实总是不断增加记录 的行数不同,维度表变化不仅是增加记录的行数,而且据 需求不同维度表属性本身也会发生变化。本文着重讨论数据 仓库维度表变化类型及其更新技术。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值