数据仓库为什么采用分层架构

本文探讨了数据仓库采用分层架构的原因,包括解耦复杂处理流程,通过ODS-CDM-ADS结构实现数据接入、处理和应用;以及冗余设计以满足不同场景需求,提高效率。每个模块化表之间的血缘关系有助于问题定位和避免重复计算,如同软件开发的模块化管理。
摘要由CSDN通过智能技术生成

数据仓库为什么采用分层架构?

        现代数据仓库的分层架构最主要的原因在于两点。

        第一是将复杂的数据数据处理流程解耦。以阿里巴巴推行的分层架构方案来看,数据仓库初步份分为了ODS、CDM、ADS三层:ODS负责数据接入,CDM负责数据模型设计,ADS负责数据的应用产出。实现了数据接入、处理、输出的解耦。而CDM中又分为DIM、DWD、DW、DWS:将数据分为是事实表和维度表,事实表关注的具体的事件,维度表关注事件的相关信息,进一步将数据的的功能的解耦。

        第二是将数据根据预期的功能进行冗余,针对不同的使用场景,不同的数据粒度,进行维度退化、数据预聚合等。达到以空间换时间的目的。

        综合两者来看,对数据进行解耦,冗余之后。遍形成了一个个模块化的数据表。和软件开发一样,模块化后更方便团队开发,方便功能更迭。

        此外,各个模块化的表之间会形成清晰的血缘脉络,方便定位问题,避免重复计算。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值