实时数仓学习总结

分层

ods：原始数据的备份，一般是事实表的备份，比如订单表。实时数仓一般使用数据监听组件（flinkcdc、canal）把数据发送到kafka，也就是ods的数据用kafka存储。

dwd：事实表join之后的数据，比如订单表和订单明细表join之后的数据，一般也会存储到kafka，join的过程用flink实现。flink读取kafka的ods数据，流式join之后，形成宽表，再次放到kafka。

dim：维度表，一般存储到mysql，比如省份、商品分类等，使用数据监听组件（flinkcdc、canal）把维度表备份到单独的mysql数据库，然后再做视图，实现维度表的join宽表，比如三级商品分类，可以使用视图，一次查询出来商品的一、二、三级分类。

ads：数据应用层，一般使用flink把dwd和dim的数据进行join存放到clickhouse，供echarts等前段的报表展示页面查询。