实时数仓-数据采集层_1

一、实时数仓介绍

1、普通实时计算与实时数仓比较

普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。

实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。

2、实时电商数仓项目分层

•  ODS
  原始数据，日志和业务数据

•  DWD
  根据数据对象为单位进行分流，比如订单、页面访问等等

•  DIM
  维度数据

•  DWM
  对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。

•  DWS
  根据某个主题将多个事实数据轻度聚合，形成主题宽表。

•  ADS
  把Clic