阿里巴巴大数据之路-大数据领域建模综述

阿里巴巴大数据之道-大数据领域建模综述

为什么要数据建模？

Linux 的创始人 Torvalds 有一段关于“什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据 结构和它们之间的关系。“

数据建模的好处

• 性能 ：良好的数据模型能帮助我们快速查询所需要的数据，减少 数据的 110 吞吐。
• 成本 ： 良好的数据模型能极大地减少不必要的数据冗余，也能实 现计算结果复用，极大地降低大数据系统中的存储和计算成本。
• 效率 ：良好的数据模型能极大地改善用户使用数据的体验，提高 使用数据的效率。
• 质量 ： 良好的数据模型能改善数据统计口径的不一致性，减少数 据计算错误的可能性。

OLTP 和 OLAP 建模区别

OLTP

• 主要数据操作是随机读写
• 主要采用满足 3NF 的实体关系模型存储数据
• 在事务处理中解决数据的冗余和一 致性问题

OLAP

• 主要数据操作是批量读写
• 事务处理中 的一致性不是 OLAP 所关注的
• 关注数据的整合，以及在一次性 的复杂大数据查询和处理中的性能

建模方法论

ER模型

• 简述

  • 数据仓库之父 Bill lnmon 提出的建模方法是从全企业的高度设计一 个 3NF