基于Flink1.11.2 多表join与维表join

1，业务场景：之前离线的业务场景，想通过实时来实现。离线业务是多个表join，因为接入的myslq binlog的数据，所以数据存在修改跟删除，这个是跟日志分析最大的区别，因为日志分析啥的数据只有新增，相对来说考虑的东西就少了很多。

 

2，首先我们要实现的是多表join，这个相对还是比较简单的，比如下面的SQL：

 

3，但是3个表join可是全量join的，也就是说表的state是一直存在的，总会存在OOM爆炸的时候，那怎么办呢。

在我们使用window窗口的时候，一个窗口结束之后会帮我们清除state，这里Flink支持通过API清除state，不过是全局的，细粒度的还没研究。

因为业务是只管当天的数据，数据到kafka的时候会有延迟，但是不可能延迟一天，所以我这里设置TTL为1天到3天。

当然，肯定要测试一下TTL，读取2个topic注册为表，然后join，30s之后发现join不上了。state过期了。这个大家手动去测试吧。

 

4，几个表join之后，再加上设置了 TTL，我们还要关联维表数据，在做之前我就想，维表会不会受TTL的影响，脑壳发昏了 。

经过鸡哥的提醒我才想起来了，维表读取的代码就是缓存，是guava。磕头谢罪。

 

5，维表的join，维表的join语法在官网一目了然：

 

我们需要给主流添加上processTime: