数据处理的灵魂

        今天来讲讲数仓的灵魂-数据模型，在讲模型之前，我们要知道为什么需要模型

1.标准化和规范化，在工程领域，标准化大家很清楚，例如中国电压220v，铁轨宽度多少mm，通信什么协议，同样的，在数据仓库和数据库领域也需要规范化，其一是自己使用方便，后续查找变更容易，其二是外部使用也更方便，大家更容易理解，这就让我想起了一个笑话，内地人去新疆买东西，说怎么这么贵，新疆标准单位是公斤，而内地是斤。

2.有助于提高数据质量，这是个老生常谈的问题了，企业经常出现各部门数据不一致的情况，有时候漏了信息，有时候口径不一致，这样大家沟通起来不是很方便。所以统一的好处可见。

3.利于后续扩展，打个比方，你造了个系统，留下了标准接口，那后续只需要按照接口标准开发即可，如果没有这个接口，就需要推到重来或者花费很大精力了。

4.减少开发难度，在统一的标准下，开发人员可以高效的写作开发。

5.支持数据使用，标准规范无误的数据，才能进行分析，产出价值。

数据模型的分类:

• 概念模型

        最上层的抽象，更贴近用户，例如我们和用户沟通，说有客户，商品，订单这些信息，就构成了最上层的概念模型，三个表存储三类数据。

• 逻辑模型

        第二层抽象，有个表后，我们要确定表的内容，有哪些字段，是什么类型等

• 物理模型

        这一层更加贴近计算机了，有了表后，确定字段，类型，我们还要确定主外键关系，使用int，还是double，还是float存储等。

    在日常工作中，我们经常是一步到位，拿到用户需求，就开始设计物理模型了，这样其实不被好，看起来效率很高，但是后续扩展使用时候，发现当初的设计不合理，返工修改的时候也是很痛苦的，所以，计算机领域也是要有工程的思维，先设计，在验证，反复推敲，然后再去落地实施，并且保留好设计文档，做好版本管理，这样日后进行版本迁移，升级就方便很多。