参考:数据仓库中的ODS、EDW、和DM层是什么?(系列3) (pmcaff.com)
数据仓库各层说明:
一、数据加载层:ETL(Extract-Transform-Load)
二、数据运营层:ODS(Operational Data Store)
三、数据仓库层:DW(Data Warehouse)
1. 数据明细层:DWD(Data Warehouse Detail)
2. 数据中间层:DWM(Data WareHouse Middle)
3. 数据服务层:DWS(Data WareHouse Service)
四、数据应用层:APP(Application)
五、维表层:DIM(Dimension)
注意问题:
1. 数据仓库的分层,只是一个概念上、处理方式上的分层,在计算机处理中,大多还是在一个数据库中、通过建不同的数据表来实现的,并不存在严格的物理区隔;
2. 你可以把它叫做:1、2、3层,方便理解,但为了与别人的理解保持一致,还是需要跟同事沟通清楚,明确各层的数据含义;
3. 有些公司的实践中,会在数据仓库中分3层以上,比如会将EDW层分解为两层,分别为轻度汇总层、中度汇总层。这是跟着业务需要走了,理解分层的目的即可;
4. DM层并不一定从EDW层中获取,有依赖关系的字段,在没有被提取到EDW层之前,仍然需要从ODS层获取;
5. 同理:数据应用也并不一定要从EDW层或者DM层中获取,临时类需求,从ODS层反而更快。
总结一下:
1. 数据仓库分层的核心:提高数据应用的效率、效果;
2. 分层的定义:
数仓分层 | 数据来源 | 特点 |
ODS | 操作型数据、实时数据,日志数据等 | 近似=raw data |
EDW | ODS层 | 按明确主题和维度进行ETL的数据表 |
DW | ODS、EDW层 | 面向明确应用,ETL获取的数据表 |