Flink 维表Join/双流Join 方法总结

最新推荐文章于 2024-12-02 12:00:00 发布

王知无(import_bigdata)

最新推荐文章于 2024-12-02 12:00:00 发布

阅读量1.1k

点赞数

分类专栏： Flink系统性学习专栏文章标签： java python 大数据人工智能编程语言

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/121045379

版权

Flink系统性学习专栏同时被 2 个专栏收录

256 篇文章 106 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

大数据成神之路

254 篇文章 158 订阅

订阅专栏

本文详细介绍了Flink中维表Join和双流Join的各种方法，包括预加载维表、分布式缓存、热存储关联、广播维表以及Temporal table function join，分析了各自的优缺点和适用场景。对于双流Join，讨论了Regular Join、Interval Join和Window join，强调了时间窗口在处理无限数据流中的重要性。

摘要由CSDN通过智能技术生成

一、背景

事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时刻。需要注意是，目前Flink SQL的维表JOIN仅支持对当前时刻维表快照的关联(处理时间语义)，而不支持事实表rowtime所对应的的维表快照。

二、维表Join

预加载维表

将维表全量预加载到内存里去做关联，具体的实现方式就是我们定义一个类，去实现 RichFlatMapFunction，然后在 open 函数中读取维度数据库，再将数据全量的加载到内存，然后在 probe 流上使用算子，运行时与内存维度数据做关联。

这个方案的优点就是实现起来比较简单，缺点也比较明显，因为我们要把每个维度数据都加载到内存里面，所以它只支持少量的维度数据。同时如果我们要去更新维表的话，还需要重启作业，所以它在维度数据的更新方面代价是有点高的，而且会造成一段时间的延迟。对于预加载维表来说，它适用的场景就是小维表，变更频率诉求不是很高，且对于变更的及时性的要求也比较低的这种场景。

改进࿱