数仓分层-该如何划分-数仓分多少层

既然知道数仓要进行分层操作,那么如何划分层,划分为多少层就成了问题的关键。

目前市面上的分层大都划分为三大层,即ODS层,DW(CDM)层,和APP(ADS)层,然后根据具体公司的业务将层进行更为细化的操作。总体来说没有最好的分层,只有更适合公司业务发展的分层。

如下图所示,三大层各个功能:

  1. ODS层:主要是数据引入层也叫原始数据层,其主要功能就是将各个数据库中的数据采集到数据仓库中,基本保持和原始数据的一致性。
  2. DW(CDM)层:主要区别维度表和事实表,基于维度建模,构建宽表减少数据扫描以及表的重新命名等。
  3. APP(ADS)层:主要用于复杂性指标的计算。

以下就一一个具体的分层为例进行说明。

 如图所示,此项目进行数仓分层主要划分为四大层(ODS,DW,DM,RPT),六小层。

  1. 具体为ODS层:作为原始数据层,只需要把原始数据进行一个迁移操作,不对数据进行相关的修改。
  2. DWD层:数据明细层,根据数据的格式,数据的异常值等做一个清洗转化的操作,保证数据的质量,对后面的操作提供一个基础。
  3. DWB层:基础数据层,将事实表相关联的维度表的核心字段进行一个抽取动作,构建成一个大宽表,减少数据计算的关联,提高数据查询的效率。
  4. DWS层:数据服务层,在DWB层的基础上做一些轻度的汇总,有些项目可将这两层进行一个合并,不需要划分为两层。
  5. DM层:数据集市层,进行更粗粒度的汇总。
  6. RPT层:报表应用层,将数据进行裁剪进行相关的计算,作为指标的展示。

 综上,就是一个完整的项目的分层,还是那句话,没有最好的分层操作,只有更适合自家业务的分层。

  • 4
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数仓分层中,其中一个重要的级是stage。在数仓中,stage是指数据的初始加载和清洗阶段,也被称为原始数据。\[1\]在传统金融/保险行业中,stage通常包括ods(操作数据存储)、pdm(物理数据模型)和dm(数据集市)。\[1\]而在互联网金融/电商行业中,stage通常包括odl(在线数据存储)、bdl(业务数据湖)、idl(实时数据湖)和adl析数据湖)。\[1\] 另外,数仓的应用(ADS)也是一个重要的级。应用是各个业务方或部门基于DWD和DWS建立的数据集市,主要包含部门或业务方关心的明细和汇总的数据。\[2\]应用的数据来源于DW,用于支持各个业务方的数据析和决策。 总结来说,数仓分层中,stage是数据的初始加载和清洗阶段,应用是各个业务方或部门基于DWD和DWS建立的数据集市。这些级在不同行业和场景中可能有所差异,但整体的套路和目的是相似的。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [数仓分层模型架构享(2)](https://blog.csdn.net/BeiisBei/article/details/106285485)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [万字详解数仓分层设计架构 ODS-DWD-DWS-ADS](https://blog.csdn.net/uxiAD7442KMy1X86DtM3/article/details/127711444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值