关于数据仓库中数据分层,每个企业根据自己的业务需求可以有不同的划分。但一般会分为四个层:数据运营层、数据仓库层、数据服务层、数据集市。
1. 数据运营层(ODS - Operational Data Store)
- 数据运营层,也称数据准备区或者贴源层。它是指数据仓库源头系统的数据表通常会原封不动的存储一份,从而作为后续数据仓库加工数据的来源。ODS层数据的来源方式包括业务数据库、应用的埋点数据、消息队列等。
2. 数据仓库层(DW - Data Warehouse):数据仓库层由下到上为细节数据层(DWD - Data Warehouse Details),数据基础层(DWB - Data Warehouse Base)和数据服务层(DWS - Data Warehouse Service)三层。
- 细节数据层是业务层与数据仓库的隔离层,主要对数据运营层做一些数据清洗和规范化的操作,包括去除空值、脏数据等等。
- 数据基础层里存储的是客观数据,一般用于中间层,可以认为是大量指标的数据层。
- 数据服务层基于数据基础层上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。用于提供后续的业务查询,OLAP分析,数据分发等。
3. 数据服务层/应用层(ADS - Application Data Service)