范式理论:
概念:数仓建模必须遵循相关的规则,在关系建模中,这种规则就叫范式。
目的:可以降低数冗余
分类:目前使用最广泛的为第一范式、第二范式、第三范式
函数依赖
-
完全函数依赖:通过AB能得出C,但是AB单独得不出C,那么说C完全依赖于AB
人类语言:通过(学号、课程)推出分数,但是,单独用学号推断不出来分数,那么:分数完全依赖于(学号、课程) -
部分函数依赖:通过AB能推出C,通过A也能推出C,或者通过B也能推出C,那么说C部分依赖于AB
人类语言:通过(学号、课程)推出姓名,其实可以通过学号直接推出姓名,所以:姓名部分依赖于(学号、课程) -
传递函数依赖:通过A得到B,通过B得到C,但是C得不到A,那么说C传递依赖于A
人类语言:学号推出系名,系名推出系主任,但是系主任推不出学号,系主任主要依赖于系名。这种情况可以说:系主任传递依赖于学号
三范式核心原则
第一范式:属性不可切割
第二范式:不能存在部分函数依赖
第三范式:不能存在传递函数依赖
关系模型与维度维度模型
关系建模:将复杂的数据抽象为两个概念——实体和关系,并使用规范化的方式表示出来,较为松散、零碎,物理表数量多。
维度模型以数据分析作为出发点,不遵循三范式,故数据存在一定的冗余。维度模型面向业务,将业务用事实表和维度表呈现出来。表结构简单,故查询简单,查询效率较高。
维度模型分类:
- 星型模型:星型模型的维度只有一层
- 雪花模型:雪花模型的维度可能会涉及多层,较近3NF,但没有完全靠近(性能成本较高
- 星座模型:基于多张事实表(所以数仓较多选择
- 模型的选择取决于性能优先还是灵活性优先
维度表和事实表
维度表:一般是对事实的描述信息,每一张维度表对应现实世界的一个对象或者一个概念,如:用户、商品、日期、地区等
事实表:表中的每行数据代表一个业务事件(下单、支付、退款、评价等)。“事实”这个术语表示的是业务事件的度量值(可统计次数、个数、金额等)
举例:某人某天在某网站购买了3件商品花费300R 事实表:300R 3件 ; 维度表:用户、时间、商家、商品
事实表分类:
- 事务型事实表:以每个事务或者事件为单位
- 周期型快照事实表:不会保留所有数据,只会保留固定时间间隔的数据
- 累积型快照事实表:用于跟踪业务事实的变化
数据仓库建模
ODS层:(Operation Data Store)原始数据层,存放原始数据
DIM层:(Dimension)维度层,保存维度数据,主要是对业务事实的描述信息
DWD层:(Data warehouse detail)数据明细层,对ODS层的数据进行清洗脱敏等,保存业务事实明细。
DWS层:(Data warehouse service)服务数据层,以DWD为基础,按天对数据进行轻度汇总,一行数据代表一个主题对象一天的汇总行为
DWT层:(Data warehouse topic)数据主题层,以DWS为基础对数据进行累计汇总,一行数据代表一个主题对象的累积行为。
ADS层:(Application Data Store)数据应用层,为各种统计报表提供数据
数仓为什么要分层:
- 把复杂问题简单化
- 减少重复开发
- 隔离原始数据