【大数据】【数据仓库01】数据仓库的基础分层及其作用

优秀的分层设计能够让整个数据体系更易理解和使用

为什么要设计数据分层？
数据有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知。简单说就是使数仓整体看起来层次清晰、依赖关系直观。

因此，我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题，但是，数据分层却可以给我们带来如下的好处：

数据结构清晰：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解
避免重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算
统一数据口径：提供统一的数据出口，统一对外输出的数据口径
复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题
数据隔离：不必改一次业务就需要重新接入数据。另外，随着业务的变化，只需要调整底层的数据，对应用层对业务的调整零感知。
常用数仓分层架构

源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。
明细数据层（DWD）：是业务层与数据仓库的隔离层，此层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）、转换等操作后的数据。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联。另外，在该层也会做一部分的数据聚合，将相同主题的数据汇集到一张表中，提高数据的可用性。
服务数据层（DWS）：又称数据集市层或宽表层。按照业务划分，如流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等。一般来讲，该层的数据表会相对比较少，一张表会涵盖比较多的业务内容，由于其字段较多，因此一般也会称该层的表为宽表。
数据维度层（DIM）：存放企业公共维度数据。高基数维度数据：一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级；低基数维度数据：一般是配置表，比如枚举值对应的中文含义，或者日期维表。数据量可能是个位数或者几千几万。
数据应用层（DM）：数据应用层，同业务强相关的定制化报表层。