读书笔记五 ---大数据之路--数仓分层

数据分层
在流式数据模型中,数据模型整体上分为五层。

1. ODS层
   跟离线系统的定义一样, ODS层属于操作数据层,是直接从业务系统采集过来的最原始数据（进行了数据清洗）,包含了所有业务的变更过程,数据粒度也是最细的。在这一层,实时和离线在源头上是统一的,这样的好处是用同一份数据加工出来的指标,口径基本是统一的,可以更方便进行实时和离线问数据比对。例如:原始的订单变更记录数据、服务器引擎的访同日志。（原始数据）

2. DWD层
   DWD层是在ODS层基础上,根据业务过程建模出来的实时事实明细层,对于访问日志这种数据(没有上下文关系,并且不需要等待过程的记录),会回流到离线系统供下游使用,最大程度地保证实时和离线数据在ODS层和DWD层是一致的。例如:订单的支付明细表、退款明细表、用户的访问日志明细表。（明细数据）

3. DWS层
   订阅明细层的数据后,会在实时任务中计算各个维度的汇总指标如果维度是各个垂直业务线通用的,则会放在实时通用汇总层,作为通用的数据模型使用。比如电商网站的卖家粒度,只要涉及交易过程,就会跟这个维度相关,所以卖家维度是各个垂直业务的通用维度,其中的汇总指标也是各个业务线共用的。例如:电商数据的几大维度的汇总表(卖家、商品、买家). （通用汇总数据）

4. ADS层
   个性化维度汇总层,对于不是特别通用的统计维度数据会放在这一层中,这里计算只有自身业务才会关注的维度和指标,跟其他业务线一般没有交集,常用于一些垂直创新业务中。例如:手机淘宝下面的某个爱逛街、微淘等垂直业务。（个性汇总数据）

5. DIM层
   实时维表层的数据基本上都是从离线维表层导出来的,抽取到在系统中供实时应用调用。这一层对实时应用来说是静态的,所有的ET处理工作会在离线系统中完成。维表在实时应用的使用中跟离线稍有E别,后面章节中会详细说明。例如:商品维表,卖家维表、买家维表类目维表。（一一对应的维表）

下面通过简单的例子来说明每一层存储的数据。
ODS层:订单粒度的变更过程,一笔订单有多条记录。
DWD层:订单粒度的支付记录,一笔订单只有一条记录。
DWS层:卖家的实时成交金额,一个卖家只有一条记录,并且指标在实时刷新。
ADS层:外卖地区的实时成交金额,只有外卖业务使用。
DIM层:订单商品类目和行业的对应关系维表。

整体的数据流向如图

其中, ODS层到DIM层的ETL处理是在离线系统中进行的,处理完成后会同步到实时计算所使用的存储系统。ODS层和DWD层会放在数据中间件中,供下游订阅使用。而DWS层和ADS层会落地到在线存储系统中,下游通过接口调用的形式使用。
在每一层中,按照重要性划分为P0, P1, P2, P3等级, PO属于最高优先级保障。根据不同的优先级给实时任务分配不同的计算和存储资源,力求重要的任务可以得到最好的保障。

总结一下：
实时建模与离线建模类似，也需要对数据进行建模，进行数据分层处理

数据分层：
1）ODS层：与离线系统类似，操作数据层。ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中。记录了原始数据的变更过程，例如订单变更数据以及服务器日志数据

2）DWD层：实时明细层，对于没有上下文关系的数据会回流到离线系统，保证了ODS层与DWD层数据一致性

3）DWS层：通用维度数据汇总层，供各业务共同使用

4）ADS层：个性化维度会汇总层，针对单个业务所关注的维度各指标数据

5）DIM层：实时维度层，从离线维度层导出，所有的ETL工作在离线系统中完成

数据流向：
1：ODS、DWD层的数据会存放在消息中间件中，如Kafka

2：从Kafka中获取到DWD层数据后，DWS、ADS计算任务会同时开始，维度通用指标结果作为DWS层数据存放到实时读写数据库系统中，如HBase、Druid、ClickHouse等，而特定系统的维度指标结果作为ADS层数据，同样存储到实时读写的数据库系统中。

3：至于DIM层的数据，则由离线ETL系统定期进行计算。