2、实时数仓DIM

从kafka中过滤出来13张维表，然后维表的个数有可能新增，需要动态的，不重启，不修改代码实时获取新增维度表？

DIM编程：
1、消费KAFKA topic_db主题数据（包含所有的业务表数据）（主流）
2、过滤维度表数据（根据表名做过滤）
3、将数据写入Phoenix(每张维表对应一张Phoenix表)
按照当前的思路，如果增加一张表，那么我们需要修改代码，重新编译，关闭以前的程序启动新程序
讨论1：如何做到只重启，不修改代码？
读配置文件：只在启动的时候加载一次

讨论2：如何做到不重启？
动态加载：每隔一段时间自动加载（java中的定时任务） 定时任务写于open方法中
实时监控抓取：
配置信息写到Mysql --> FlinkCDD抓取（配置流）
配置信息写到文件 File --》Flume+KAFKA_Flink消费 （配置流）
需要永久保存，放到状态里面，如何作用？
流不一样
广播流，每个任务里面都有配置信息

使用union 还是connect ?
connect

根据配置流的数据过滤主流的数据，

广播流+connect:广播状态大小问题 配置流不大 √
keyby+connect:容易数据倾斜

扩展思路：推送的方式，zk通知机制

配置信息表字段：
ids 表名 操作（维表只有删除数据不需要）

表名 Phoenix（底层是HBase）表名 字段（主流：过滤，配置流：建表） 主键 建表的扩展字段
SourceTable
SinkTable
SinkColumns
SinkPK
SinkExtend