数据仓库建模速记

整理数据仓库建模相关知识点

1.缓慢变化维

  a) 添加一个Old列,仅能记录最近两次信息
  b) 直接覆盖
  c) 添加BeginDate EndDate  Version IsActive 
  d) 在C基础上,添加代理键
2.增量处理
a)全表扫描对比,性能差
        b)根据源表的操作时间字段.需源系统支持.
        c)分析数据库操作日志,工作量大,难度高
3,性能优化
a)优化SQL
b)建立索引,where join的字段都要添加,外键字段尽量采用INT
c)物化视图
d)位图连接索引
e)分区
  f)并行计算 & 分布式
g)提前预处理 --需求变化频率不高情况下
4.代理键,与业务无关的Number类型字段,一般存在于维度表中.
优点: 与事实表关联速度快
业务内容变化,不会对其有影响
处理缓慢变化维
5.数据建模过程:
1.业务模型:确定客户要什么,确定我们有什么
2.领域模型:确定各业务间关系,建立各个实体关系,确定主题等
3.逻辑模型:确定粒度,各主体维度,度量信息,以及数据来源等
4.物理模型:建立数据库模型,生成数据仓库脚本
6.退化维度:没有维度表的维度,存在于事实表中,代表一定的业务含义.
例如:订单编号,销售单号等
优点:方便事实表一些分组操作; 保留业务,方便数据质量检验
7.关于数据质量:
1.源系统 加强约束和校验,上升到全员高度,需最高层大力支持
2.ETL 过程中校验
3.ETL 记录错误异常事实表,方便分析统计
4.ETL 记录行级的审计维度表
5.自动预警