谈笑间学会数仓—大数据建模过程

谈笑间学会数仓—大数据建模过程

首先我们先来了解一下，大数据建模都需要遵循哪些原则呢？先来列举一下

建模原则

• 高内聚和低辑合

  将业务相近或者相关、粒度相同的数据设计为一个逻辑或者物理模型：将高概率同 时访问的数据放一起 ，将低概率同时访问的数据分开存储。

• 核心模型与扩展模型分离

  建立核心模型与扩展模型体系，核心模型包括的宇段支持常用的核心业务，扩展模型包括的字段支持个性化或少量应用的需要 ，不能让扩展模型的宇段过度侵人核心模型，以免破坏核心模型的架构简洁性与可维护性。

• 公共处理逻辑下沉及单一

  越是底层公用的处理逻辑越应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑多处同时存在。

• 成本与性能平衡

  适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制。

• 数据可回滚

  不改变处理逻辑，不修改代码的情况下重跑任务结果不变

• 一致性

  字段命名及定义必须一致

• 命名清晰、可理解

  表命名需清晰、一致，表名需易于使用方理解

声明了解完原则，剩下的就是进行建模了，那么具体步骤应该是怎么样子的呢?

建模过程及步骤

• 分析拆分

例如：举个电商下单的业务过程：每个用户或会员提交了一笔购物订单，对应到业务系统底层数据库中也就是一条/多条记录。

分析从几个方面进行如下：

​ 业务过程是