数仓到底要分多少层? | 彭文华

本文探讨了数据仓库分层的重要性,旨在解耦业务数据库,确保数据架构的稳定和数据分析的可持续性。通常的数仓分层包括ODS、DWD、DWB、DWS等,具体层数取决于业务复杂度。强调在设计时要考虑业务需求、开发复杂度和可维护性的平衡。
摘要由CSDN通过智能技术生成


数仓的同学都喜欢问一个很有意思的问题:数据仓库到底要分几层?我一般的回答都是:你想分几层就分几层。很显然, 虽然我是很认真的在回答,但是提问题的人会感觉非常不认真。还是完完整整的阐述一下数仓分层的基础逻辑吧。
在这里插入图片描述

为什么要分层?

想要知道数仓要分几层,那就必须得先回答另一个问题:就是数据仓库为什么要分层?分层思想到底是在干什么?
直接上结论:分层是为了解耦。请把这句话刻在脑子里。因为这决定了你的数据架构到底要分几层。

我们直接读取数据源出报表不行么?行!但是你的前台业务、中间的数据处理逻辑和后端的数据库会完全绑死,任何一个点发生变化,都得修改整个设计。

那按数据处理的逻辑,一个中间表拆一层行么?行啊。但是你这样链条太长,不仅流程管控难度提升,而且一旦发生问题,追溯几乎变得不可能。

所以,既不能不分,又不能分的太多。那应该怎么弄呢?

你看信息系统的架构发展历程,就是这样:

单体–>水平分层/垂直拆分–>微服务–>服务网格

从头到尾都是不停的拆,这是在干啥?就是在解耦,再解耦。但是也没有无限的往下拆,拆到服务网格,就开始合并了,这就是中台的逻辑。

数据架构上也是一样,有ODS层是为了保存原始数据,有明细层是为了保证后续数据的干净和统一࿰

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值