数仓该如何分层

本文介绍了数据仓库常见的分层方式,如阿里的ODS、DWD、DWS、ADS,华为的SDI、DWI、DWR、DM等,并通过厨房收纳的例子帮助理解分层的目的和规则。建议根据公司业务需求灵活应用分层策略,避免盲目套用成熟体系。
摘要由CSDN通过智能技术生成

群里的伙伴,问到对数仓分层的理解,就写篇文章来简单介绍下。

PS:之前研究过,但是没专门写过分层这块的内容

01 常见的分层方式

对于数据仓库的分层,市场上有不同的派系。

在这里插入图片描述

1、阿里【ODS、DWD、DWS、ADS】

链接:数仓分层 (aliyun.com)

2、华为【SDI、DWI、DWR、DM】

链接:基本概念_数据湖治理中心 DGC_产品介绍_华为云 (huaweicloud.com)

3、其他(美团、滴滴、网易、有赞等等)

【美团】OneData建设探索之路:SaaS收银运营数仓建设
https://tech.meituan.com/2019/10/17/meituan-saas-data-warehouse.html

【滴滴】数据仓库指标体系建设实践
https://mp.weixin.qq.com/s/-pLpLD_HMiasyyRxo5oTRQ

【网易】严选-数仓规范和评价体系
https://mp.weixin.qq.com/s/7PQocW3Fg97kOXdvpSttQA

【有赞】有赞数据仓库实践之路
https://mp.weixin.qq.com/s/7hUUuOdsOHvB3oleQcW4Vg

提醒一下:各家分层有差异,但是换汤不换药。

我们想要透过现象看本质,主要就弄懂:为什么分层,每层有什么特征。

然后从实用角度出发,回到实践中,看看自己的公司是怎么分的。

02 简单例子帮助理解分层

对于初学者,我建议先不着急理解 ODS、DWD 这些概念,而是通过生活化的例子来理解。

分层就像是厨房收纳。

收纳的目标是:方便管,方便找,方便用。

收纳的具体动作是:先分类,定好规矩,什么样的东西东西放到哪里。

服务 20 人的餐厅,可能一个厨师就够了,洗菜、切菜、炒菜全包了。

但如果餐饮要服务200人,那洗菜、切菜、炒菜这些环节就得分别有负责人了。

那不同环节如何衔接、协同呢?

定规矩!

洗菜、切菜弄成什么样,要约定好。

数据方面,也是如此。分层,也就是规矩。

整体上,会确定分几层、层与层之间是单向流通(避免循环引用),对外提供数据的范围。

具体到层级内,每个层都会有特定的命名规范、数据粒度等。

03 个人对分层的建议

饮食行业,一开始,大家都是乱炖,弄熟就可以了。

慢慢地,有聪明人开始创新,衍生出来不同的菜品,然后彼此学习,逐渐完善了餐饮体系。

随着餐饮行业的扩张,不同餐厅推广到其他地区。

有的时候,要结合地区特性做调整:食客对菜品的需求决定炒什么口味的菜、如何切、如何洗。

同理,数据也是。

最后

数仓本没有分层,为了更好地协同,分层出现了。

分层要随公司业务慢慢演化,一个初创公司完全照搬大公司的成熟体系,一般都会消化不良。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值