数仓分层-该如何划分-数仓分多少层

本文探讨了数据仓库的分层设计,通常分为ODS、DW(CDM)、APP(ADS)三层,但实际操作中可能根据业务需求细分为ODS、DWD、DWB、DWS、DM和RPT六层。ODS层负责原始数据迁移,DWD层进行数据清洗,DWB层构建宽表,DWS层做轻度汇总,DM层进行粗粒度汇总,而RPT层则用于报表展示。强调了没有最佳分层,只有最适合业务的分层方案。
摘要由CSDN通过智能技术生成

既然知道数仓要进行分层操作,那么如何划分层,划分为多少层就成了问题的关键。

目前市面上的分层大都划分为三大层,即ODS层,DW(CDM)层,和APP(ADS)层,然后根据具体公司的业务将层进行更为细化的操作。总体来说没有最好的分层,只有更适合公司业务发展的分层。

如下图所示,三大层各个功能:

  1. ODS层:主要是数据引入层也叫原始数据层,其主要功能就是将各个数据库中的数据采集到数据仓库中,基本保持和原始数据的一致性。
  2. DW(CDM)层:主要区别维度表和事实表,基于维度建模,构建宽表减少数据扫描以及表的重新命名等。
  3. APP(ADS)层:主要用于复杂性指标的计算。

以下就一一个具体的分层为例进行说明。

 如图所示,此项目进行数仓分层主要划分为四大层(ODS,DW,DM,RPT),六小层。

  1. 具体为ODS层:作为原始数据层,只需要把原始数据进行一个迁移操作,不对数据进行相关的修改。
  2. DWD层:数据明细层,根据数据的格式,数据的异常值等做一个清洗转化的操作,保证数据的质量,对后面的操作提供一个基础。
  3. DWB层:基础数据层,将事实表相关联的维度表的核心字段进行一个抽取动作,构建成一个大宽表,减少数据计算的关联,提高数据查询的效率。
  4. DWS层:数据服务层,在DWB层的基础上做一些轻度的汇总,有些项目可将这两层进行一个合并,不需要划分为两层。
  5. DM层:数据集市层,进行更粗粒度的汇总。
  6. RPT层:报表应用层,将数据进行裁剪进行相关的计算,作为指标的展示。

 综上,就是一个完整的项目的分层,还是那句话,没有最好的分层操作,只有更适合自家业务的分层。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值