模型设计的三个阶段

1.概念模型

概念模型主要是通过分析和归纳,将业务划分成几个主题,并确定主体之间的关系:
业务:即一个总指标,一般来说,一个业务来自于一个OLTP数据库。例如自然人 法人这两个不同的业务,来自01 02数据库。
主题:即一个主题可以分析归纳出的某几种具体生活常识中的总结点,例如自然人的 动产 不动产等。

  • 电影行业:影院、影片、影人、用户、订单、渠道、发行等
  • 出行行业:司机、乘客、订单、支付、车辆等

2.逻辑模型

逻辑模型是指在概念模型的基础上,定义数据仓库各种实体、属性、关系,指导后续的数据存储、组织和数据应用的开发。两种建模理论:自下而上范式建模(DW-DM数据仓库-数据模型) 自上而下维度建模(DM-DW数据模型-数据仓库)
范式建模:

  • 第一范式 (原子性,数据不可分割。例如所在城市这一字段:省市县区(多义) -> 【可分割出字段】省 市 县 区这四个字段 [这时数据库中可能存在非 distinct的数据])
  • 第二范式 (唯一性,主键唯一性,非主属性 完全 依赖于主属性)
  • 第三范式 (独立性,例如字段中存在城市dm代码 和 城市mc名称,其实这两个字段是可以传递依赖 递推出来的,这时候只需dm这一个字段就行,保证了字段之间完全独立,没有传递依赖)
    维度建模:
  • 星型 (星形更倾向于大宽表,在一张表中存在较多的冗余信息)
  • 雪花型 (雪花型会产生较多的维表,多级关联)
    星型:由一个事实表和一组维表组成,每个维表都有一个维度作为主键,事实表居中,多个维表呈辐射状分布于其四周,并与事实表连接,形成一个星型结构。
    雪花型:在星型模型的基础上,基于范式理论进一步层级化,将某些维表扩展成事实表,最终形成雪花状结构。 【这一过程需要从最底层级倒退各个维表的dm mc,也可以不倒退,逻辑性更差一点】

3.物理模型

物理模型设计是指根据逻辑模型设计的结构为基础,设计数据对象的物理实现,比如表的命名规范、字段的命名规范、字段类型选择、分区设置、存储设置、更行方式、调度配置(调度时间、父子节点等)

4.总结

现实过程中,实际模型和逻辑模型不一定一致,例如数据仓库中:

  1. 一般采用第二范式,因为第三范式粒度更细,但数据仓库的特点就是OLAP以及大表大数据处理,很适合大宽表的处理。
  2. 一般采用星型结构,还是基于数据仓库的特点,星型结构虽然倾向于大宽表,但大数据处理很适合,并且雪花型结构存在较多的维表,多层级关联的缺点。
  3. 数据仓库适合处理一张大表,反而不适合处理多张小表关联。
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值