一、为什么需要数据建模
数据建模就是数据组织和存储方法,他强调从业务、数据存储和实用角度合理存储数据。
有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处:
-
性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐;
-
成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本;
-
效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率;
-
质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性;
二、从OLTP和OLAP系统的区别看模型方法论的选择
-
OLTP系统通常面向主要的数据操作是随机读写,主要采用满足3NF的实体关系模型存储数据,从而在事务处理中解决数据的冗余和一致性问题;
-
OLAP系统面向的主要数据操作是批量读写,事务处