数据仓库灵魂30问之数仓基础理念理解

主题

主题是一个抽象概念,是在较高层次上将数据综合、归类并进行分析利用的抽象。每一个主题都对应一个宏观的分析领域,在实际上,每一个主题对应这个分析领域的所有的分析对象。

比如销售主题对应所有和销售这个领域有关的数据。

主题域

主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点,将这些数据主题划分到不同的主题域。

比如销售主题的主题域就是这个领域有关的数据的集合。

血缘关系

血缘关系是指某个字段从哪个系统的哪个表产生,经过哪些流程最后被弃用的全过程。
比如我们要从A表,B表,C表生成D表,在整个过程中会生成数个临时表,那么字段经过哪些临时表最终生成D表的链路就是血缘。

拉链表

所谓拉链,就是记录历史。记录一个事物从开始,一直到当前状态的所有变化的信息。

代理键

当表中的键都不适合作为主键时,产生一个流水号作为代理键。

维度退化

当一个维度表没有事实表需要的数据的话,就可以退化为一个只有主键的维度表。
比如人员维度表中对于人员的描述在事实表中没有意义,只需要人员id这一个字段,那么就将人员id冗余到事实表中,只使用人员id。

缓慢变化维SCD

维度表在使用中不是一成不变的,也是会发生缓慢的变化。

类型0:原样保留
维度属性值不会发生变化,因此事实表以原始值分组。
类型0适合做标记为“原型”的情况,比如信用卡积分等等。


类型1:重写
维度行中原有的属性值被新值覆盖。此技术破坏了历史情况,尽管不需要建立额外的维度行,但是他会影响聚集事实表或OLAP数据引擎的重复计算。


类型2:增加新行
在维度表中增加新行,新行采用修改的属性值。
使用该方法的前提是维度主键更具有一般性。
增加行时,必须增加三个额外的列:①行有效的日期/时间戳列;②行截止日期/时间戳列;③当前行标识
这样是避免多行描述统一对象(假设A入职某公司后离职,那么A肯定会在人员维度表中留存,多年后A再次入职该公司,那么A在维度表中就有两条记录)。


类型3:增加新属性(列)
一般进行类型0或类型1操作,这种操作不太常用。


类似4:增加微型维度
假设有一个几百万行的销售维度表,那么技术人员肯定不愿意再往里面添加记录,而且他本身查询也到达了瓶颈。
这样为了优化查询,可以在这个维度表上产生一个销售微型维度表,将活性高的数据提出组成一个小表来供查询。
将维度中的一组属快速变化并划分为微型维度。
微型维度被称为快速变化魔鬼维度(魔鬼?)。


类型5:增加微型维度及类型1支架
在类似4上加解读,例如有销售额字段,假设值是123.45,那我干脆弄成1-50,51-100,101-150,…这样的对数据进行整合效果岂不是更好。


类型6:增加类型1到类型2维度
类型6建立在类型2基础上,同时嵌入到类型1中。本质上就是按照类型2读取有效行,按照类型1进行分组或过滤。
现在HBASE或HIVE默认都是类型6。


类型7:双类型1和类型2维度
类型7是一种混合技术,适合沉淀了大量数据,对新数据频繁使用,对旧数据也有使用需求的场景。
第一个类型1维度仅展示活性最高的属性值,第二个类型1和第一个类型2组成类型6对历史概要进行展示。
类型7可以理解为基于类型6及类型1支架。

最简单的处理方式是拉链表。

事实表类型

事务事实表
事务事实表的一行对应空间后时间上某点的度量事件。事务事实表是可维度化且可被表达的事实表,应该确保数据有最小粒度来保证最大健壮性。


周期快照事实表
是事务事实表汇总的某一标准周期,如某天,某周,某月。粒度是周期性的,而不是个体的事务。


累积快照事实表
累积快照事实表是在事务开始时就创建,当事务到达固定的流程时填写对应的度量,在事务结束后这一行才算输入完成。
例如去某宝买东西,浏览就算是事务开始,然后好评才算事务结束,中间所有的度量都是某宝固定好的或者说预测好的。


无事实的事实表
用来记录一个事件的事实表,没有相关的度量,例如记录一天内学生上了什么课,应该有天,学生,老师,地点,课程等本身就很细的外键,没有相关的度量。

原子/派生指标

原子指标是指不加任何修饰词的指标,简单来说就是度量。比如销售量。
派生指标=原子指标+时间周期+修饰词。比如7天销售量,膨化食品销售量。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寒 暄

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值