DWS 层与 DWM 层的设计

1.1、设计思路

  我们在之前通过分流等手段，把数据分拆成了独立的 kafka topic。那么接下来如何处理数据，就要思考一下我们到底要通过实时计算出哪些指标项。
  因为实时计算与离线不同，实时计算的开发和运维成本都是非常高的，要结合实际情况考虑是否有必要象离线数仓一样，建一个大而全的中间层。
  如果没有必要大而全，这时候就需要大体规划一下要实时计算出的指标需求了。把这些指标以主题宽表的形式输出就是我们的 DWS 层。

1.2、需求梳理

统计主题	需求指标	输出方式	计算来源	来源层级
访客	pv	可视化大屏	page_log 直接可求	dwd
	uv	可视化大屏	需要用 page_log 过滤去重	dwm
	跳出率	可视化大屏	需要通过 page_log 行为判断	dwm
	进入页面数	可视化大屏	需要识别开始访问标识	dwd
	连续访问时长	可视化大屏	page_log 直接可求	dwd
商品	点击	多维分析	page_log 直接可求	dwd
	收藏	多维分析	收藏表	dwd
	加入购物车	多维分析	购物车表	dwd
	下单	可视化大屏	订单宽表	dwm
	支付	多维分析	支付宽表	dwm
	退款	多维分析	退款表	dwd
	评论	多维分析	评论表	dwd
地区	pv	多维分析	page_log 直接可求	dwd
	uv	多维分析	需要用 page_log 过滤去重	dwm
	下单	可视化大屏	订单宽表	dwm
关键词	搜索关键词	可视化大屏	页面访问日志 直接可求	dwd
	点击商品关键词	可视化大屏	商品主题下单再次聚合	dws
	下单商品关键词	可视化大屏	商品主题下单再次聚合	dws

  当然实际需求还会有更多，这里主要以为可视化大屏为目的进行实时计算的处理。

1.3、DWM 层的定位是什么

DWM 层主要服务 DWS，因为部分需求直接从 DWD 层到DWS 层中间会有一定的计算量，而且这部分计算的结果很有可能被多个 DWS 层主题复用，所以部分 DWD 成会形成一层 DWM，我们这里主要涉及业务

➢ 访问 UV 计算
➢ 跳出明细计算
➢ 订单宽表
➢ 支付宽表

1.4、DWS 层的定位是什么

➢ 轻度聚合，因为 DWS 层要应对很多实时查询，如果是完全的明细那么查询的压力是非常大的。
➢ 将更多的实时数据以主题的方式组合起来便于管理，同时也能减少维度查询的次数。