1.什么是数据仓库?
数据仓库,data warehouse,简写为dw。数据仓库顾名思义,是一个很大的数据存储集合,出于企业的分析性报告和决策支持目的而创建,对多样的业务数据进行筛选与整合。
它为企业提供了一定的BI(商业智能)能力,指导业务流程改进,监视时间、成本、质量以及控制
基于业务数据满足业务需求,不仅是存储,更侧重决策和管理
特点:面向主题、集成、随时间变化、非易失(不建议删除更新操作)
组成:元数据,开发编码,数据模型,指标规范,血缘关系,
2.为什么要建数据仓库
业务痛点:数据资产模糊、数据质量低、重复建设、代码耦合高、问题难定位,周期长、无法应对频繁临时需求,当需求量增多了,要想快速标准规范产出需求,就需要有一个方法论一个规范,每一层应该干嘛,每一层产出啥,
有这样一个规范,当你需要新增需求的时候,就不会手忙脚乱了
3.怎么建数据仓库
建设流程
1调研阶段:业务流程调研、业务数据调研、应用需求调研
2.设计阶段:明确数据接入范围、划分数据域及构建共现矩阵、中间层模型设计、明确指标口径、派生指标拆解
3.数据开发阶段 :ODS数据接入、ETL开发、规范建模、指标校验、ADS层应用数据开发
数仓架构
1.数据源:业务中台数据,业务系统数据,第三方数据
2.数据模型层:ODS基础数据层,CDM公共模型层
3.应用层:ADS应用数据层
ODS(Operation data st