[数据仓库]数据仓库中的分层架构

     为把Bill Inmon和Kimball 两种不同的思路统一起来，Bill Inmon提出了CIF（Corporation Information Factory）架构，核心是把数据仓库分为不同的层次以满足不同场景的需求；每层根据不同的场景采用不同的方案。

传统数据仓库1.0的分层：

数据源->数据集成平台->数据交换平台->数据集市（数据应用、数据汇总、数据明细）

传统数据仓库2.0的分层：

ODS->DWD->DWS->DM

1. ODS(Operation Data Service):操作型数据服务，不做建模，和业务数据库保持一致
2. DWD（Data WareHouse Detail）:数据仓库明细层，采用ER 建模，一般到3NF ;对来源于多个业务系统的数据进行合并;如需要，在该层另外开辟一个区域作为公共维度层（DIM），把通用的主数据抽取出来按3NF建模。
3. DWS（Data WareHouse Service）:数据仓库服务层，采用维度建模，对DWD的数据进行按维度建模，可根据需要进行通用的轻微轻汇总，减少重复计算。
4. DM（Data Market）:数据集市层，采用维度建模、多维建模，根据业务需求对DWS层进行重度汇总，方便业务使用。

基于大数据的数据仓库：

Data Lake->DWD->DWS->DM->ADS（BI、推荐系统、用户画像、广告系统）

Data Lake：数据湖，采集企业的所有数据，包括结构化数据、半结构化数据、非结构化数据、媒体数据（音频、视频、图片）；可以保留源数据格式或用Data Vault建模。

其他层和传统数仓几乎差不多。

ODS层的作用：

1. 尽可能减少对源系统的影响
2. 方便作业重新开始以及Debug
3. 数据备份、方便数据审计
4. 数据格式的统一
5. 实时性要求高就不必ODS
6. 必要时添加派生审计字段、去掉Clob、Blob字段、增加checkSum code

DW&DM层的区别：

	DW	DM
需求	侧重于整合，下游为系统；侧重于共享性和权威性	侧重于分析，下游是报表；侧重于灵活性和多变性
模型	侧重于模型的稳定性，兼顾成本和效率	侧重访问的方便性
团队和管理	总部CIO主导，主数据、参照数据等核心数据由总部CIO审核	确保数据来源于DW，数据的Owner是数据使用部门
变更管理	谨慎面对变化，充分考虑对下游的影响	主动迎接变化，方便下游使用
访问	ETL、各系统的接口、低频次	高频次、最终用户
审计	数据变化的审计	报表的访问审计