从kafka中过滤出来13张维表,然后维表的个数有可能新增,需要动态的,不重启,不修改代码实时获取新增维度表?
DIM编程:
1、消费KAFKA topic_db主题数据(包含所有的业务表数据)(主流)
2、过滤维度表数据(根据表名做过滤)
3、将数据写入Phoenix(每张维表对应一张Phoenix表)
按照当前的思路,如果增加一张表,那么我们需要修改代码,重新编译,关闭以前的程序启动新程序
讨论1:如何做到只重启,不修改代码?
读配置文件:只在启动的时候加载一次
讨论2:如何做到不重启?
动态加载:每隔一段时间自动加载(java中的定时任务) 定时任务写于open方法中
实时监控抓取:
配置信息写到Mysql --> FlinkCDD抓取(配置流)
配置信息写到文件 File --》Flume+KAFKA_Flink消费 (配置流)
需要永久保存,放到状态里面,如何作用?
流不一样
广播流,每个任务里面都有配置信息
使用union 还是connect ?
connect
根据配置流的数据过滤主流的数据,
广播流+connect:广播状态大小问题 配置流不大 √
keyby+connect:容易数据倾斜
扩展思路:推送的方式,zk通知机制
配置信息表字段:
ids 表名 操作(维表只有删除数据不需要)
表名 Phoenix(底层是HBase)表名 字段(主流:过滤,配置流:建表) 主键 建表的扩展字段
SourceTable
SinkTable
SinkColumns
SinkPK
SinkExtend