数据仓库中的ODS、EDW、DM等分层是什么?

参考:数据仓库中的ODS、EDW、和DM层是什么?(系列3) (pmcaff.com)

数据仓库各层说明:

一、数据加载层:ETL(Extract-Transform-Load)
二、数据运营层:ODS(Operational Data Store)
三、数据仓库层:DW(Data Warehouse)
   1. 数据明细层:DWD(Data Warehouse Detail)
   2. 数据中间层:DWM(Data WareHouse Middle)
   3. 数据服务层:DWS(Data WareHouse Service)
四、数据应用层:APP(Application)
五、维表层:DIM(Dimension)
 

注意问题:

1. 数据仓库的分层,只是一个概念上、处理方式上的分层,在计算机处理中,大多还是在一个数据库中、通过建不同的数据表来实现的,并不存在严格的物理区隔;

2. 你可以把它叫做:1、2、3层,方便理解,但为了与别人的理解保持一致,还是需要跟同事沟通清楚,明确各层的数据含义;

3. 有些公司的实践中,会在数据仓库中分3层以上,比如会将EDW层分解为两层,分别为轻度汇总层、中度汇总层。这是跟着业务需要走了,理解分层的目的即可;

4. DM层并不一定从EDW层中获取,有依赖关系的字段,在没有被提取到EDW层之前,仍然需要从ODS层获取;

5. 同理:数据应用也并不一定要从EDW层或者DM层中获取,临时类需求,从ODS层反而更快。

总结一下:

1. 数据仓库分层的核心:提高数据应用的效率、效果;

2. 分层的定义:

数仓分层数据来源特点
ODS操作型数据、实时数据,日志数据等近似=raw data
EDWODS层按明确主题和维度进行ETL的数据表
DWODS、EDW层面向明确应用,ETL获取的数据表

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值