1.OLTP与OLAP的区别
OLTP基于传统关系型数据库,适合小数据量,随机读写,对实时性要求高的场景
OLAP基于数据仓库 ,适合海量数据,批量查询,对实时性要求不高的场景
2.为什么需要对数据建模
成本,效率,质量
3.建模方法论
实体关系模型,遵循3范式,属性唯一,部分函数依赖,传递函数依赖
KimBall提出的维度建模理论,从分析决策的需求出发构建模型,以事实表为中心,选取特定的维度,构建业务总线矩阵
典型的有星型模型,一张实体表关联多张维度表
建模过程分为:业务过程-》粒度-》维度-》事实
4.阿里巴巴建模方法论的核心
业务架构设计-》模型设计-》数据研发-》数据服务-
做到数据可管理,可追溯,可规避重复建设
5.你会怎么做维度建模
数仓分层:ods-》dwd、dim-》dws-》ads
选取业务过程,维度
建设指标体系
原子指标:动作+度量
派生指标:修饰词+动作+度量
事务型指标:新增商品数
存量型指标:例如商品总数
复合型指标:转化率
比率型:例如CTR
比例型:同比环比
变化量型:最近 天订单支付金额上1天变化量
统计型:人均,日均,行业平均
排名型:top100
对象集合型:以k-v形式存储
6.维度建模基本原则
高内聚低耦合
核心模型与扩展模型分离
公共处理逻辑下沉及单一
成本与性能平衡
可回滚
一致性
命名清晰,可理解
7.Kimball 模型实施过程
高层设计-》详细模型-》模型审查,再设计和验证-》ETL设计和开发
维度建模方法论
最新推荐文章于 2024-06-01 00:00:00 发布