Flink实时数仓DWM层: 订单宽表
需求分析与思路
订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户、地区、商品、品类、品牌
等等。
为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表
。
那究竟哪些数据需要和订单整合在一起?
由于在之前的操作已经把数据分拆成了事实数据和维度数据
,事实数据(绿色)进入kafka数据流(DWD层)中
,维度数据(蓝色)进入hbase中长期保存
。那么我们在DWM层中要把实时和维度数据进行整合关联在一起,形成宽表。
那么这里就要处理有两种关联,事实数据和事实数据关联、事实数据和维度数据关联。
事实数据和事实数据关联,其实就是流与流之间的关联。
事实数据与维度数据关联,其实就是流计算中查询外部数据源。