范式建模-数据库三范式

   第一范式(1NF):原子性,字段不可分;

    第二范式(2NF):唯一性,有主键,非主键字段依赖主键;

    第三范式(3NF):非主键字段不能相互依赖;


数据仓库

    数据仓库Data WareHouse - DW -DWH

        数据仓库是面向主题的、集成的、相对稳定、反应历史变化的数据集合,数仓中的数据是有组织有结构的存储数据集合,用于对管理决策支持。(OLAP 分析)


纬度建模(面向分析场景)

    纬度建模主要由事实表(fact)和维度表(dim)

        事实表有关键字段(维度列,度量列)提供分析,维度列就是所站场景可以是多维度(如:地区、产品、月份)(cube开发就是对多纬度进行操作),度量列一般由数字做统计量。


数据分析模型

    星型模型

大数据技术选型与设计(记录)_数据仓库

    星型模型的特点在于一次扩展就可查询到想要的内容,但如上图般 在区域中存在冗余数据,因县、区数据多 导致省份、城市存在多份;(星型模型违范式 ,效率要比雪花模型要高)


    雪花模型

    

大数据技术选型与设计(记录)_建模_02

    雪花模型将于维度再度拆分 ,严格遵守范式建模。(除了以上两种模型 ,还有星座模型 在此基础上 扩展多张fact事实表 与维度表关联)


数据仓库分层设计

大数据技术选型与设计(记录)_数据仓库_03

    ODS层 (贴源层) 将数据直接抽取过来不做任何处理。 

    DWD(数据明细层)理解伪为清洗加工的数据 还是以范式规范的结构存在。

    DWM(数据中间层)聚合操作 , 在此已经将范式转换为维度建模 (fact和dim)。

    DWS (数据服务层) 形成主题宽表数据 ,用于OLAP分析。

大数据技术选型与设计(记录)_数据_04