Flink电商实时数仓项目02-DWD层

1 需求分析及实现思路

1.1 分层需求分析

1.1.1 实时数仓为什么要分层？

建设实时数仓的目的，主要是为了增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。

比如直接从dwd、dim、dwm、dws取数据。

1.2 每层的职能

分层	数据描述	生成计算工具	存储媒介
ODS	原始数据，日志和业务数据	日志服务器，maxwell	kafka
DWD	根据数据对象为单位进行分流，比如订单、页面访问等等。	FLINK	kafka
DWM	对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。	FLINK	kafka
DIM	维度数据	F