数据治理之模型设计

模型层次

1）数据操作层：把数据几乎无处理的放在数据仓库中

① 同步：保存增存量的结构化数据

② 结构化：把非结构化数据结构化处理并保存

③ 积累历史数据：根据需求保存历史数据

④ 数据清洗

2）公共维度层：存放明细事实数据、维表数据、公共指标汇总

① 明细事实数据、维表数据从ODS层数据加工而来，公共指标汇总数据从细事实数据、维表数据加工而来

② DWD和DWS层主要的作用是组合相似数据，建立明细宽表，减少事实表和维度表的关联计算，提高明细表的易用性

3）应用数据层：存放产品个性化指标

数据服务优先调用CDM层数据，当数据缺失就对数据进行评估是否新建公共层数据。如果不需要则调用ODS层数据，ADS层数据一般不提供数据服务
基本原则
1）高内聚低耦合：从业务、访问两个角度分析

① 将业务相近的数据设计为一个模型

② 将同时被访问概率高的数据设计为一个模型，低概率的分来设计

2）核心业务数据与扩展业务数据分离：防止扩展业务破坏核心业务的整体性

3）相同含义的字段在不同表中字段名相同