数据仓库主题二（分层和原则）

一、数据仓库分层

阿里巴巴的数据团队把表数据模型分为三层 ：操作数据层（ ODS ）、公共维度模型层（ CDM）和应用数据层（ DWS ）， 其中公共维度模型层包括明细数据层（ DWD ）和汇总数据层（ ADS ）。现在自己接触到的公司基本都把自己数据仓库模仿阿里。构建四层数据结构 （ODS、DWD、DWS、ADS）或者增加一层简单清洗过滤层（主要是简单过滤清洗ODS层数据）。

1、各层作用
操作数据层（ ODS ）：把操作系统数据几乎无处理地存放在数据仓库系统中。
同步：结构化数据增量或全量同步到数据仓库中
结构化：非结构化（日志）结构化处理并存储到数据仓库中
累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、清洗数据。

公共维度模型层（ CDM ）：存放明细事实数据、维表数据及公共指标汇总数据 其中明细事实数据、维表数 一般根据 ODS 层数据加工生成 ：公共指标汇总数据 般根据维表数据和明细事实数据加工生成。 CDM 层又细分为 DWD 层和 DWS 层，分别是明细数据层和汇总数据层，采用维度模型方法作为理论基础 更多地采用 些维度退化手法。
1、数据明细层：DWD：该层一般保持和ODS层一样的数据粒度，并提供一定的数据质量保证。同时为了提供数据明细层的易用性。该层会采用一些维度退化手法，经维度退化到事实表中，减少事实表和维度表的关联。（注意：很多公司会在建模过程中在dwd和dws中间加上一层d