基于Flink1.11.2 多表join与维表join

最新推荐文章于 2022-12-30 10:09:25 发布

黄瓜炖啤酒鸭

最新推荐文章于 2022-12-30 10:09:25 发布

阅读量4.9k

点赞数 10

分类专栏： Flink 文章标签： Flink SQL Flink多表JOIN Flink 维表JOIN

本文链接：https://blog.csdn.net/qq_31866793/article/details/108868121

版权

本文介绍了基于Flink 1.11.2的实时多表JOIN和维表JOIN的业务场景及解决方案。针对全量JOIN可能导致的OOM问题，通过设置TTL进行状态管理，确保只处理当天数据。同时，文章强调了维表JOIN不会受到TTL影响，因维表数据通常由Guava缓存。最后分享了相关SQL语法和完整代码示例，指出SQL开发虽简化流程，但对调优和底层理解的要求较高。

摘要由CSDN通过智能技术生成

1，业务场景：之前离线的业务场景，想通过实时来实现。离线业务是多个表join，因为接入的myslq binlog的数据，所以数据存在修改跟删除，这个是跟日志分析最大的区别，因为日志分析啥的数据只有新增，相对来说考虑的东西就少了很多。

2，首先我们要实现的是多表join，这个相对还是比较简单的，比如下面的SQL：

3，但是3个表join可是全量join的，也就是说表的state是一直存在的，总会存在OOM爆炸的时候，那怎么办呢。

在我们使用window窗口的时候，一个窗口结束之后会帮我们清除state，这里Flink支持通过API清除state，不过是全局的，细粒度的还没研究。

因为业务是只管当天的数据，数据到kafka的时候会有延迟，但是不可能延迟一天，所以我这里设置TTL为1天到3天。

当然，肯定要测试一下TTL，读取2个topic注册为表，然后join，30s之后发现join不上了。state过期了。这个大家手动去测试吧。

4，几个表join之后，再加上设置了 TTL，我们还要关联维表数据，在做之前我就想，维表会不会受TTL的影响，脑壳发昏了。

经过鸡哥的提醒我才想起来了，维表读取的代码就是缓存，是guava。磕头谢罪。

5，维表的join，维表的join语法在官网一目了然：

我们需要给主流添加上processTime:

完整代码如下：

import java.util.concurrent.TimeUnit

import org.apache.flink.api.common.restartstrategy.RestartStrategies
import org.apache.flink.api.common.time.Time
import org.apache.flink.contrib.streaming.state.RocksDBStateBackend
import org.apache.flink.runtime.state.State