目的
数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话:“烂程序员关心的是代码,好程序员关心的是数据结构和它们之间的关系”,最能够说明数据模型的重要性。
只有数据模型将数据有序的组织和存储起来之后,大数据才能得到高性能、低成本、高效率、高质量的使用。
性能:帮助我们快速查询所需要的数据,减少数据的I/O吞吐,提高使用数据的效率,如宽表。
成本:极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低存储和计算成本。
效率:在业务或系统发生变化时,可以保持稳定或很容易扩展,提高数据稳定性和连续性。
质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。
数据模型能够促进业务与技术进行有效沟通,形成对主要业务定义和术语的统一认识,具有跨部门、中性的特征,可以表达和涵盖所有的业务。
大数据系统需要数据模型方法来帮助更好地组织和存储数据,以便在性能、成本、效率和质量之间取得最佳平衡!
数据仓库分层的设计
为了实现以上目的,数据仓库一般要进行分层的设计,其能带来五大好处:
【清晰数据结构】:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。
【数据血缘追踪】:能够快速准确地定位到问题,并清楚它的危害范围。
【减少重复开发】&#x

数据仓库通过分层设计(ODS、DWD、DWS)实现清晰数据结构、血缘追踪等好处。概念模型描绘系统概念结构,逻辑模型细化功能和逻辑,物理模型关注技术实现。3层模型在大数据系统开发中起关键作用,促进业务与技术的有效沟通。
最低0.47元/天 解锁文章
4万+

被折叠的 条评论
为什么被折叠?



