1.1 普通实时计算与实时数仓的比较
普通实时计算优先考虑时效性,所以从数据采集经过实时计算直接得到结果,如此做时效性更好,但是弊端是由于计算过程中的中间结果没有沉淀下来,所以面对大量实时需求的时候,计算的复用性较差,开发成本随着需求直线上升。
实时数仓基于一定的数据仓库理论,对数据处理流程进行规划,分层,目的是提高数据的复用性。
1.2 实时电商数仓,项目分为以下几层
- ODS :原始数据,日志和业务数据。
- DWD:根据数据对象为单位进行分流,比如订单,页面访问等等。
- DIM:维度数据。
- DWM:对于部分数据对象进行进一步加工,比如独立访问,跳出行为,也可以和维度进行关联,形成宽表,依旧是明细数据。
- DWS:根据某个主题将多个事实数据进行轻度聚合,形成主题宽表。
- ADS:把clickhouse中的数据根据可视化需求进行筛选聚合。