[2] 数据模型

数据模型

概念解释
维度:环境(多个的角度),eg卖家、店铺等
事件:度量,或者解释业务的一个行为
粒度:事件表中的组成单位

数据模型实质上就是对整合的数据进行统一管理(数据仓库)

模型设计

范围:by语句后的字段一般情况都属于维度

选者维度或新建维度

确定主维度表

确定相关为维度表

确定维度属性(尽量丰富,多)

维度一致性的表现形式

如果不同数据域的计算过程使用的维度不一致,就会导致交叉探查 存在问题。
当存在重复的维度,但维度属性或维度属性的值不一致时, 会导致交叉探查无法进行或交叉探查结果错误

  • 共享维度
  • 一致性上卷(包含关系-父与子)
  • 交叉属性

维度整合

  • 数据整合

    数据——>数据仓库(数据集成的几种方式)

    • 主从表关系
    • 直接合并
    • 不合并
  • 维表整合

    • 垂直整合、拆分
    • 水平整合、拆分

维度设计的两种方案

  • 不同分类化为不同的维度
  • 维度单一维度,尽量包含所有的属性

维度变化类型

  • 缓慢变化维
  • 快照维度表
  • 极限储存
  • 微型维度

特殊维度

  • 递归层次
  • 行为维度
  • 多值维度
  • 多值属性
  • 杂项维度

模型分层

操作数据层ODS

公共维度模型层CDM

  • 明细数据层DWD
  • 汇总数据层DWS

应用数据层ADS

基本原则

高内聚低耦合

核心模型与扩展模型分离

公共处理逻辑下沉单一

成本与性能平衡

数据回滚

一致性

命名清晰可理解

事实表设计

度量业务过程事实类型

  • 可增加性事实
  • 半可加性事实
  • 不可加性事实

事实表分类

  • 事务事实表(原子事实表)
  • 周期快照事实表
  • 积累快照事实表

设计方法

  • 1、选者业务过程
  • 2、声明粒度
  • 3、声明维度
  • 4、确定事实

Data Vault

ER模型

Anchor模型

如果维度不一致的话,会导致表内容重叠或者查找数据时,根据维度查找造成冲突
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值