数据仓库:
Data Warehouse,简写成DW。
数据库和数据仓库的区别:
数据库:传统关系型数据库的应用主要是OLTP(On-Line Transaction Processing),主要是基本的、日常的事务处理,如银行交易。
数据仓库:数据仓库的主要应用是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
功能 | 数据库 | 数据仓库 |
---|---|---|
数据范围 | 当前状态数据 | 存储历史、完整、反映历史变化数据 |
数据变化 | 支持频繁的增删改查操作 | 可增加、查询,无更新、删除操作 |
应用场景 | 面向业务交易流程 | 面向分析、支持侧重决策分析 |
处理数据量 | 频繁、小批次、高并发、低延迟 | 非频繁、大批量、高吞吐、有延迟 |
设计理论 | 遵循数据库三范式、避免冗余 | 违范式、适当冗余 |
建模方式 | ER实体关系建模(范式建模) | 范式建模+维度建模 |
数据分层
数据操作层(ODS)—数据仓库层(DW)—数据集市层(DM)
ODS:
.Operational Data Store,本层数据为源数据ETL来,最接近源数据
DW:
(1)DWD 数据明细层(Data Warehouse Detail)数据明细层,该层保持和ODS同样的数据粒度,即行数不变,删除不必要的维度,即列数减少;
(2)DWM 数据中间层(Data Warehouse Middle)该层对数据做轻度聚合;
(3)DWS 数据服务层(Data Warehouse Service)该层数据表较少,为大宽表;用于后续业务查询和OLAP分析
DM:
数据应用层,得到某一主体的报表;