【Flink实时数仓】数据仓库项目实战 《三》 维表数据写入到HBase【DIM】

【Flink实时数仓】数据仓库项目实战 《三》 维表数据写入到HBase【DIM】

DIM层设计要点：
（1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。
（2）DIM层的数据存储在 HBase 表中
DIM 层表是用于维度关联的，要通过主键去获取相关维度信息，这种场景下 K-V 类型数据库的效率较高。常见的 K-V 类型数据库有 Redis、HBase，而 Redis 的数据常驻内存，会给内存造成较大压力，因而选用 HBase 存储维度数据。
（3）DIM层表名的命名规范为dim_表名

1.配置表设计

我们将为配置表设计五个字段
source_table：作为数据源的业务数据表名
sink_table：作为数据目的地的 Phoenix 表名
sink_columns：Phoenix 表字段
sink_pk：Phoenix 表主键
sink_extend：Phoenix 建表扩展，即建表时一些额外的配置语句
将 source_table 作为配置表的主键，可以通过它获取唯一的目标表名、字段、主键和建表扩展，从而得到完整的 Phoenix 建表语句。

主流程 流程图：

主流数据 和 广播流数据处理流程图：

写入HBase(Phoenix)