【FlinkSQL】一文读懂流join方式

目录

一、常规join

二、时间窗口join

三、时态表join

基于事件时间的时态 Join

基于处理时间的时态 Join

四、时态表函数join

---

    对于离线计算、批处理，join操作比较好理解，可以参考文章 hive 各种 join （left outer join、join、full outer join）。但是数据流的join和离线join是有差异的，流是无限的，没有边界的。目前Flink Sql有四种join方式。

一、常规join

    需要将所有的历史记录存放到state中，所有历史数据都参与join。对于新增的记录或者是原有记录的更新操作，join两边的表都是可见的，也就是说要和所有的记录进行关联计算。比如左表A新增一条记录，那么这条记录要和右表所有记录进行关联（历史数据、未来的数据）。

缺点：state会无限增大。

SELECT * FROM tableA
INNER JOIN tableB
ON tableA.id = tableB.id

二、时间窗口join

由于常规join的状态会无限增大，那么限制只join一段时间的数据，这就是时间窗口join。Flink会从state中删除过期的数据。

SELECT *
FROM
  Orders o,
  Shipments s
WHERE o.id = s.orderId AND
      o.ordertime BETWEEN s.shiptime - INTERVAL '4' HOUR AND s.shiptime

三、时态表join

时态表可以是一张跟踪所有变更记录的表（例如数据库表的 changelog，包含多个表快照），也可以是物化所有变更之后的表（例如数据库表，只有最新表快照）。

时态表 Join 的语法如下:

SELECT [column_list]
FROM table1 [AS <alias1>]
[LEFT] JOIN table2 FOR SYSTEM_TIME AS OF table1.{ proctime | rowtime } [AS <alias2>]
ON table1.column-name1 = table2.