大数据开发必经之路-数据建模

未经允许，禁止转载，一经发现，必定严究

一、概念

数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio或erwin等工具建立数据库实体以及各实体之间关系的过程

1.1 低数据模型的十大误区（十宗罪）

1、没有准确的捕获到需求

2、数据模型不完整

3、各层模型与其扮演角色不匹配

4、数据结构不合理

5、抽象化不够，造成模型不灵活

6、没有或者不遵循命名规范

7、缺少数据模型的定义和描述

8、数据模型可读性差

9、元数据与数据不匹配

10、数据模型与企业标准不一致

1.2 低质量数据模型影响

1、大量修改和重做

2、重复建设

3、知识丢失

4、下游开发困难

5、高成本

6、数据质量低下

7、新业务无法展开

二、数据建模的基本流程

2.1 建模流程

1、概念模型：确定系统的核心以及划清系统范围和边界；

2、逻辑模型：梳理业务规则以及对概念模型的求精；

3、物理模型：从性能、访问、开发等多方面考虑，做系统的实现。

三、概念模型

3.1 概念模型建模建议

1、注重全局的理解；

2、对整体架构进行思考；

3、自下而上的模型，通过会议进行反复沟通，明确需求；

4、粗略的估算整个项目需要的时间、花费以及项目计划草案；

5、与客户之间奠定良好的沟通基础；

6、商业主导。

四、逻辑模型

4.1 逻辑模型建模建议

1、更精确的估算出整个项目需要的时间以及项目草案；

2、根据计划更精确的估算项目的费用；

3、当实体数量超过100时，需要定义术语表；

4、遵循规范化；

5、先进行规范化，再进行逆规范化，不可一步到位；

6、不可缺少约束的定义；

7、使用 CASE 工具做逻辑模型；

8、需要解决多对多的关系。

4.2 高质量逻辑模型数据建模

1、注意模型版本管理；

2、注意建模时的细节；

3、占据整个数据建模 80% 以上的时间；

4、不要忽视属性的长度定义和约束定义；

5、不要忽视属性的默认值；

6、使用控制数据范围的域。

4.3 逻辑建模交付品特点

1、要尽可能详细描述；

2、所有实体属性均需添加；

3、实体间关系要清晰描述；

4、使用术语表；

5、遵循命名规范；

6、采用 CASE 工具创建项目文件；

7、对各个实体以及关键属性必须有清晰描述；

五、物理模型

5.1 物理模型建模

1、使用 CASE 工具由逻辑模型自动生成；

2、应用术语表自动转换生成字段名称；

3、对表空间、索引、视图、物化视图、主键、外键等都有命名规则；

4、逆规范化在逻辑层完成；

5、数据库DBA深入介入，需要DBA评审；

6、和数据库的DDL保持一致。

5.2 高质量物理模型数据建模

1、对真实世界的抽象正确而完整；

2、用建模语言表达清晰而准确；

3、框架稳定且灵活，满足当下的需求并能够一定程度容纳未来的变化；

4、根据需求尽可能减少数据冗余；

5、充分考虑潜在的性能问题；

6、从企业全局视角出发构筑模型。

5.3 物理建模交付品特点

1、自动生成基础库表结构，之后适度手动调试；

2、与未来使用的数据库相关；

3、生成数据字典并发布；

4、直接用于生成DDL；

5、DDL中注意注释的生成。

六、高质量数据建模图解

Q：每博一问

求助：数据仓库建模和数据建模是不是一个东西？如果不是的话，数据仓库建模是什么？有什么好的学习资料？

点击收藏！持续更新中。。。

欢迎加入小猿大家庭：947117563，共同进步，众人拾柴火焰高！！