实时数仓-维表维护方案

维表维护方案

维度数据维护是实时数仓搭建的重要一环，接下来说公司维度处理上的方案演化。

阶段一

维度数据在mysql维护，flink job使用datastream api开发。实现RichSourceFunction，在invoke方法中执行查询逻辑。这个方案弊端有两点：

• 问题1
  公司内Flink job大概有200个，每个job需要关联3到5张维度表。现有的维度表关联是用mysql source，每个维表需要维护一个链接，非常占用mysql的链接资源
• 问题2
  基于mysql source的查询是周期性进行的，实际生产中是1h查询一次，此间维度表变化无法及时追踪

同时，flink sql已经迭代了几个大版本，公司也在尝试使用flink sql来完成指标计算。于是演化到阶段二

阶段二

一个库下所有维表通过cdc job导入kafka(upsert的方式)，然后使用flink sql解析kafka的数据，将维度表导入hbase，最后在计算时事实表和hbase维度表使用动态表join的方式。架构图如下所示：