Flink 中Join type及Interval Join

在离线etl中，join​是比较常见的操作。在使用flink进行实时数据处理时，数据流的扩维，表的打宽等场景也需要join操作。

基于官网和相关资料，flink中的join类型可以用下图简要表示​。

由上图可知，在flink api 和 sql​ 模块分别支持不同的join类型。大家需根据开发需求选择相应的join​方式。具体的join样例可参考官网​。

​sql模块中的join

api模块中的join

以interval join 为例，api模块中的interval join仅支持 event time语义下的inner join，而sql模块的interval join支持event time/processing time + inner/ouer join的任一一种组合。

以api模块的interval 为例，其主要的类是IntervalJoinOperator。​借助缓存分别将左右流中的消息暂时保存，并基于key在对方缓存中进行遍历匹配。如果能join上则立刻下发。

每条消息均配置了定时器，当随着watermark推进定时触发清除缓存中的这条数据，以免缓存​条数过多。

api模块中interval的大致运行机制如下​。