数仓建模方法

数据仓库通过分层设计(ODS、DWD、DWS)实现清晰数据结构、血缘追踪等好处。概念模型描绘系统概念结构,逻辑模型细化功能和逻辑,物理模型关注技术实现。3层模型在大数据系统开发中起关键作用,促进业务与技术的有效沟通。
摘要由CSDN通过智能技术生成

目的


        数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话:“烂程序员关心的是代码,好程序员关心的是数据结构和它们之间的关系”,最能够说明数据模型的重要性。

        只有数据模型将数据有序的组织和存储起来之后,大数据才能得到高性能、低成本、高效率、高质量的使用。

       性能:帮助我们快速查询所需要的数据,减少数据的I/O吞吐,提高使用数据的效率,如宽表。

       成本:极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低存储和计算成本。

       效率:在业务或系统发生变化时,可以保持稳定或很容易扩展,提高数据稳定性和连续性。

       质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。

        数据模型能够促进业务与技术进行有效沟通,形成对主要业务定义和术语的统一认识,具有跨部门、中性的特征,可以表达和涵盖所有的业务。

       大数据系统需要数据模型方法来帮助更好地组织和存储数据,以便在性能、成本、效率和质量之间取得最佳平衡!

数据仓库分层的设计


为了实现以上目的,数据仓库一般要进行分层的设计,其能带来五大好处:

       【清晰数据结构】:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。

       【数据血缘追踪】:能够快速准确地定位到问题,并清楚它的危害范围。

       【减少重复开发】&#x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值