阿里云Big Data - |分层| ODS& DWD& DWS& ADS| 行为数仓

有基础了解大致情况， 详细请参考原文

 

DW ：data warehouse 翻译成数据仓库
DW  数据分层，由下到上为  DWD,DWB,DWS
DWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库dao的隔离层
DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS：data warehouse service 服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。

 

数仓分层

ODS：Operation Data Store
原始数据

DWD(数据清洗/DWI) data warehouse detail
数据明细详情，去除空值，脏数据，超过极限范围的
明细解析
具体表

DWS(宽表-用户行为，轻度聚合) data warehouse service ----->有多少个宽表？多少个字段
服务层--留存-转化-GMV-复购率-日活
点赞、评论、收藏; 
轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store
做分析处理同步到RDS数据库里边

数据集市：狭义ADS层； 广义上指DWD DWS ADS 从hadoop同步到RDS的数据

 

1. ODS层

原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。

2. DWD层数据解析

对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）

3. DWD层

 1） 商品点击表

2 ）商品详情页表

3 ）商品列表页表

4 广告表

5 消息通知表

6 用户前台活跃表

7 用户后台活跃表

8 评论表

9 收藏表

10 点赞表

11 启动日志表

12 错误日志表