数仓分层各层详解

数仓分层是一种将数据仓库按照不同的层级进行组织和管理的方法。每个层级都有不同的功能和目的,用于支持数据分析、报告和决策等不同的业务需求。以下是数仓分层的各层详解:

  1. 原始数据层(Raw Data Layer):原始数据层是数仓中最底层的层级,用于存储从各个数据源获取的原始数据。这些数据通常是未经处理和清洗的,包括来自数据库、日志文件、传感器等的数据。原始数据层的目的是保留数据的完整性和可追溯性,以备后续的数据处理和分析。

  2. 数据清洗层(Data Cleansing Layer):数据清洗层用于对原始数据进行清洗、去重、转换和标准化等处理。在这一层中,数据质量和一致性是关键考虑因素。清洗后的数据可以更好地支持后续的数据分析和建模。

  3. 集成层(Integration Layer):集成层是将来自不同数据源的数据进行整合和集成的层级。在这一层中,数据被转换为一致的格式和结构,以便于跨数据源的查询和分析。集成层通常包括数据仓库和数据集市等组件。

  4. 维度建模层(Dimensional Modeling Layer):维度建模层是基于业务需求和分析目的进行数据建模的层级。在这一层中,数据被组织为维度和事实表的结构,以支持多维分析和报告。常见的维度建模方法包括星型模型和雪花模型。

  5. 多维分析层(Multidimensional Analysis Layer):多维分析层用于对数据进行多维分析和切片切块。在这一层中,数据可以通过多维数据立方体(OLAP Cube)进行快速查询和聚合。多维分析层提供了灵活的数据探索和交互式分析的能力。

  6. 报告和可视化层(Reporting and Visualization Layer):报告和可视化层用于生成各种报告、仪表盘和可视化图表,以便用户能够直观地理解和分析数据。在这一层中,数据被转化为易于理解和传达的形式,以支持决策和业务洞察。

每个层级都有其独特的功能和价值,通过将数据仓库按照不同的层级进行组织和管理,可以更好地支持不同层次和角色的用户需求,提供高效、准确和可靠的数据分析和决策支持。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数仓分层中,其中一个重要的层级是stage层。在数仓中,stage层是指数据的初始加载和清洗阶段,也被称为原始数据层。\[1\]在传统金融/保险行业中,stage层通常包括ods层(操作数据存储层)、pdm层(物理数据模型层)和dm层(数据集市层)。\[1\]而在互联网金融/电商行业中,stage层通常包括odl层(在线数据存储层)、bdl层(业务数据湖层)、idl层(实时数据湖层)和adl层(分析数据湖层)。\[1\] 另外,数仓的应用层(ADS)也是一个重要的层级。应用层是各个业务方或部门基于DWD和DWS建立的数据集市,主要包含部门或业务方关心的明细层和汇总层的数据。\[2\]应用层的数据来源于DW层,用于支持各个业务方的数据分析和决策。 总结来说,数仓分层中,stage层是数据的初始加载和清洗阶段,应用层是各个业务方或部门基于DWD和DWS建立的数据集市。这些层级在不同行业和场景中可能有所差异,但整体的套路和目的是相似的。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [数仓分层模型架构分享(2)](https://blog.csdn.net/BeiisBei/article/details/106285485)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [万字详解数仓分层设计架构 ODS-DWD-DWS-ADS](https://blog.csdn.net/uxiAD7442KMy1X86DtM3/article/details/127711444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值