数据仓库之数据模型

文章脉络

• ER模型（关系实体模型）

  • 特点

    • 全面了解业务业务和数据

    • 实施周期非常长

    • 对建模人员的能力要求高

  • 建模步骤

    • 概念模型（高层模型）

      • 抽象模型，描述主要的主题以及主题间的关系，用于描述企业的业务总体概况。

    • 逻辑模型（中层模型）——在概念模型基础上，细化主题的数据项         

      • 设计步骤

      • 1、确定主题域

      • 2、粒度层次划分

      • 3、确定数据分隔策略

      • 4、关系模式确定

    • 物理模型（底层模型）——在中层模型基础上，考虑物理存储，同时基于性能和平台特点进行物理属性设计，可以做表的合并，分区设计等等

      • 设计步骤

      • 1、确定数据储存结构

      • 2、确定数据仓库索引策略

      • 3、对表归并优化存储分配

  • 典型

    • FS-LDM

      • Terdata公司基于金融业务发布，Financial services Logical Data Model，金融业务高度抽象为10大主题，适当调整和扩展能快速实施落地

• 关系数据模型

  • 特点

    • 结构

    • 关系完整性

      • 实体完整性

      • 参照完整性

    • 规范化

    • 关系数据模型与数据仓库

      • 非冗余性

      • 稳定性

      • 一致性

      • 灵活性

  • 建模步骤

  • 典型

    • Inmon

    • Kimball

• 多维度模型

  • 特点

    • 易理解

    • 高性能

    • 可扩展

  • 建模步骤

    • 选择业务流程（确定事实）

    • 声明粒度

    • 确认维度

    • 确认事实

  • 典型

    • 星型模型

      • 事实表

        • 事务事实表

        • 快照事实表

        • 累计事实表

      • 维度表

        • 时间维度表

        • 地理维度表

        • 产品维度表

        • 人员维度表

        • 范围维度表

      • 优点

      • 缺点

    • 雪花型模型（维度规范化结果）

      • 事实表

      • 维度表

      • 优点

      • 缺点

• Data Value模型

  • 特点

    • 数据基于时间存储

    • 依赖越少越好

    • 和源系统越独立越好

    • 设计上适合变化

    • ETL作业可以重复执行

    • 数据完全可追踪

  • 建模步骤

    • 设计中心表(Hub)

    • 设计链接表(Link)

    • 设计附属表(satellite)

    • 设计必要的PIT表

 

备注：在一般的互联网公司，一般都是注重需求分析，所以更多的采用的是kimball维度建模，之后会重点偏重于这个建模角度的文章梳理。

这些文章都有对应的思维导图分析，如果有需要可能联系我拿