数据仓库各层到底在做什么?(ODS,DWD,DWM,DWS,ADS)

本文详细介绍了数据仓库的构建过程,从源数据层(ODS)到数据应用层(ADS),包括数据仓库层(DW)、DWD明细层、DWM中间层和DWS业务层的职能与作用。DWD层存储最细粒度的事实数据,DWM层用于创建中间统计表,DWS层则整合数据形成宽表,供业务层直接使用。维表层(DIM)包含高基数和低基数维度数据,为整个数据仓库提供维度信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

源数据层(ODS)

此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。
(不需要修改的数据)

数据仓库层(DW)

DW 层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。

DWD明细层

存储明细数据,此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。我们在做这一步时可以先确定我们的业务主题,根据主题搭建这一层的表。

DWM 中间层

存储中间数据,为数据统计需要创建的中间表数据,此数据一般是对多个维度的聚合数据,此层数据通常来源于DWD层的数据。

DWS 业务层

存储宽表数据,此层数据是针对某个业务领域的聚合数据,应用层的数据通常来源与此层,为什么叫宽表,主要是为了应用层的需要在这一层将业务相关的所有数据统一汇集起来进行存储,方便业务层获取。此层数据通常来源与DWD和DWM层的数据。

在实际计算中,如果直接从DWD或者ODS计算出宽表的统计指标,会存在计算量太大并且维度太少的问题,因此一般的做法是,在DWM层先计算出多个小的中间表,然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。

数据应用层(ADS或DA或APP)

前端应用直接读取的数据源;根据报表、专题分析的需求而计算生成的数据。

维表层(DIM)

维表层,维表层主要包含两部分数据:

  1. 高基数维度数据:一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。
  2. 低基数维度数据:一般是配置表,比如枚举值对应的中文含义,或者日期维表。数据量可能是个位数或者几千几万。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值