flink sql 知其所以然（十四）：维表 join 的性能优化之路（上）附源码

看了那么多的技术文，你能明白作者想让你在读完文章后学到什么吗？

大数据羊说__的文章会让你明白

大数据羊说

用数据提升美好事物发生的概率~

43篇原创内容

公众号

1. 博主会阐明博主期望本文能给小伙伴们带来什么帮助，让小伙伴萌能直观明白博主的心思

2. 博主会以实际的应用场景和案例入手，不只是知识点的简单堆砌

3. 博主会把重要的知识点的原理进行剖析，让小伙伴萌做到深入浅出

1.序篇

源码公众号后台回复1.13.2 sql lookup join获取。

废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：

1. 背景及应用场景介绍：博主期望你能了解到，flink sql 提供了轻松访问外部存储的 lookup join（与上节不同，上节说的是流与流的 join）。lookup join 可以简单理解为使用 flatmap 访问外部存储数据然后将维度字段拼接到当前这条数据上面

2. 来一个实战案例：博主以曝光用户日志流关联用户画像（年龄、性别）维表为例介绍 lookup join 应该达到的关联的预期效果。

3. flink sql lookup join 的解决方案以及原理的介绍：主要介绍 lookup join 的在上述实战案例的 sql 写法，博主期望你能了解到，lookup join 是基于处理时间的，并且 lookup join 经常会由于访问外部存储的 qps 过高而导致背压，产出延迟等性能问题。我们可以借鉴在 DataStream api 中的维表 join 优化思路在 flink sql 使用 local cache，异步访问维表，批量访问维表三种方式去解决性能问题。

4. 总结及展望：官方并没有提供 批量访问维表 的能力，因此博主自己实现了一套，具体使用方式和原理实现敬请期待下篇文章。

2.背景及应用场景介绍

维表作为 sql 任务中一种常见表的类型，其本质就是关联表数据的额外数据属性，通常在 join 语句中进行使用。比如源数据有人的 id，你现在想要得到人的性别、年龄，那么可以通过用户 id 去关联人的性别、年龄，就可以得到更全的数据。

维表 join 在离线数仓中是最常见的一种数据处理方式了，在实时数仓的场景中，flink sql 目前也支持了维表的 join，即 lookup join，生产环境可以用 mysql，redis，hbase 来作为高速维表存储引擎。

Notes：

在实时数仓中，常用实时维表有两种更新频率

1. 实时的更新：维度信息是实时新建的，实时写入到高速存储引擎中。然后其他实时任务在做处理时实时的关联这些维度信息。

2. 周期性的更新：对于一些缓慢变化维度，比如年龄、性别的用户画像等，几万年都不变化一次的东西😂，实时维表的更新可以是小时级别，天级别的。

3.来一个实战案例

来看看在具体场景下，对应输入值的输出值应该长啥样。

需求指标：使用曝光用户日志流（show_log）关联用户画像维表（user_profile）关联到用户的维度之后，提供给下游计算分性别，年龄段的曝光用户数使用。此处我们只关心关联维表这一部分的输入输出数据。

来一波输入数据：

曝光用户日志流（show_log）数据（数据存储在 kafka 中）：

log_id	timestamp	user_id
1	2021-11-01 00:01:03	a
2	2021-11-01 00:03:00	b
3	2021-11-01 00:05:00	c
4	2021-11-01 00:06:00	b
5	2021-11-01 00:07:00	c

用户画像维表（user_profile）数据（数据存储在 redis 中）：

user_id(主键)	age</