Flink电商实时数仓项目02-DWD层

1 需求分析及实现思路

1.1 分层需求分析

1.1.1 实时数仓为什么要分层?

建设实时数仓的目的,主要是为了增加数据计算的复用性。每次新增加统计需求时,不至于从原始数据进行计算,而是从半成品继续加工而成。

比如直接从dwd、dim、dwm、dws取数据。

image-20210131204107587

1.2 每层的职能

分层 数据描述 生成计算工具 存储媒介
ODS 原始数据,日志和业务数据 日志服务器,maxwell kafka
DWD 根据数据对象为单位进行分流,比如订单、页面访问等等。 FLINK kafka
DWM 对于部分数据对象进行进一步加工,比如独立访问、跳出行为。依旧是明细数据。 FLINK kafka
DIM 维度数据 F
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值