数仓设计的分层和使用场景

在数据仓库中,常见的分层包括:操作数据存储层(ODS)、维度数据存储层(DIM)、数据仓库存储层(DWD)、中间结果数据存储层(IDS)、数据集市存储层(DM)等。

  1. 操作数据存储层(ODS):该层一般存储源系统中的数据,也称为数据采集层或操作性数据存储层。此层的数据用于数据仓库的数据采集、清洗和转换等处理,通常不进行聚合处理,保持数据原貌。该层的数据通常采用表结构存储。

  2. 维度数据存储层(DIM):该层存储数据仓库中的维度信息,如客户维度、时间维度等。该层的数据一般进行归一化处理,以便在事实表中使用。该层的数据通常采用维度建模方式,采用星型模型或雪花模型存储。

  3. 数据仓库存储层(DWD):该层是数据仓库的核心存储层,存储了数据仓库中的事实表。该层的数据被用于复杂分析查询、报表以及其他决策支持应用。该层的数据通常采用星型模型或雪花模型存储。

  4. 中间结果数据存储层(IDS):该层存储ETL过程中的中间结果,例如数据清洗、数据转换和数据计算等。该层的数据通常不对外提供,仅用于ETL过程中的中间计算。该层的数据可以采用各种模型存储,如平面模型、层次模型、星型模型等。

  5. 数据集市存储层(DM):该层存储数据集市中的数据,通常是面向某一特定业务领域的数据仓库。该层的数据通常采用星型模型或雪花模型存储,以便满足特定业务需求。该层的数据和DWD层的数据可以互相转换,以满足不同的分析需求。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值