5.离线数仓—DWS层设计开发


前言

前面完成了ODS、DIM、DWD层的设计和实现,下面进行DWS层的设计开发。

一、DWS回顾

1、DWS层了解

数据仓库汇总层数据(Data Warehouse Summary),基于指标需求,构建初步汇总事实表,一般是宽表。基于上层的应用和产品的指标需求,构建公共粒度的汇总指标表。以宽表化手段物理化模型,构建命名规范、口径一致的统计指标,为上层提供公共指标。

2、DWS层存在的必要性

当我们在做数据需求时,可能会有这样的疑问:我直接能从DWD层很方便的取出想要的数据,为什么还要多此一举建立DWS层的汇总表呢?那是不是意味着可以不用建立DWS层的表呢,答案是:可以的。但是这有一个前提,就是业务场景不复杂。从短期来看可以快速满足数据需求的开发,但是长期来看,会存在如下的问题:
1)对于复杂的业务场景而言,会出现很多跨域、跨事实的交叉探查,如果没有沉淀出DWS层的指标进行统一口径的收口,那么相同的指标会出现不同的口径和命名,其后果就是取数变得越来越不方便,而且容易造成业务怀疑数据是否正确的尴尬局面。
2)公共指标没有统一计算,当每次需要相同的指标时,则需要重新计算一遍取数逻辑,不仅效率不高(需要

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
离线数仓的分设计通常包括贴源(ODS)、明细(DWD)、维度(DIM)、轻度聚合DWS)、主题(DWT)、数据中间(DWM)和结果展示(ADS)\[1\]。 贴源(ODS)是数仓中最底次,用于接收和存储原始数据。在这一,数据被抽取、清洗和转换为可用于后续处理的格式。 明细(DWD)是在贴源之上的一,用于存储经过处理和加工的原始数据。在这一,数据被进行清洗、整合和转换,以满足业务需求。 维度(DIM)是用于存储维度数据的次。维度表是基于原始数据提取公共指标进行维度建模的结果\[2\]。在这一,维度数据被提取出来,并与事实数据进行关联。 轻度聚合DWS)是在明细之上的一,用于存储经过聚合的数据。在这一,数据被进行聚合操作,以提高查询性能和减少数据量。 主题(DWT)是在轻度聚合之上的一,用于存储按照业务主题组织的数据。在这一,数据被按照业务主题进行组织和汇总,以支持特定的分析和报表需求。 数据中间(DWM)是用于存储数据处理过程中的中间结果的次。在这一,数据被用于支持数据处理的各个阶段,例如数据清洗、转换和集成。 结果展示(ADS)是数仓中最顶次,用于存储最终的分析结果和报表数据。在这一,数据被用于生成各种分析报表和可视化展示。 离线数仓的分设计可以根据具体业务需求和数据处理流程进行灵活调整,但通常遵循以上的基本分结构\[1\]。 #### 引用[.reference_title] - *1* *2* [离线数仓(基础)](https://blog.csdn.net/wind96/article/details/127641942)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [离线数仓 (八) --------- 数仓](https://blog.csdn.net/m0_51111980/article/details/127491547)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值