文章目录
数据模型篇 《一》 大数据领域建模综述
1.为什么需要数据建模
数据爆发式增长,我们需要将数据进行有序、有结构地分类组织和存储。
数据模型就是数据组织和存储方法,它强调从业务、数据存取和使
用角度合理存储数据。
有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处。
好处 | 好处 |
---|---|
性能 | 良好的数据模型能帮助我们快速查询所需要的数据,减少数据的吞吐。 |
成本 | 良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用, 极大地降低大数据系统中的存储和计算成本。 |
效率 | 良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。 |
质量 | 良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性 |
2.关系数据库系统和数据仓库
随着一大批大型关系数据库商业软件(如Oracle、Informix、DB2等)的兴起,现代企业信息系统几乎都使用关系数据库来存储、加工和处理数据。数据仓库系统也不例外。
NOSQL技术也曾流行一时,但是不管是Hadoop、spark还是阿里巴巴集团的MaxCompute系统,仍然在大规模使用SQL进行数据的加工和处理,仍然在用Table存储数据,仍然在使用关系理论描述数据之间的关系,只是在大数据领域,基于其数