Flink通过异步IO实现redis维表join

使用flink做实时数仓的公司越来越多了，浪尖这边也是很早就开发了一个flink 全sql平台来实现实时数仓的功能。说到实时数仓，两个表的概念大家一定会知道的：事实表和维表。

在实时输出中，事实表就是flink消费的kafka的topic数据流，而维表和离线数仓一样，就是mysql等外部存储的维表。

 

当flink 事实表需要 使用维表来进行染色的时候，就需要flink 与维表进行join，这是需要注意与外部系统的通信延迟不会影响流应用程序的整体工作。

 

直接访问外部数据库中的数据，例如在MapFunction中，通常意味着同步交互：向数据库发送请求，并且MapFunction等待直到收到响应。在许多情况下，这种等待占据了函数的绝大部分时间。

 

为了解决这个问题flink支持了异步IO的操作，与数据库的异步交互意味着单个并行task的实例可以同时处理许多请求并同时接收响应。这样，可以通过发送其他请求和接收响应来覆盖等待时间。至少，等待时间在多个请求上均摊。这会使得大多数情况下流量吞吐量更高。

 

Flink异步IO第一讲

关于异步IO要关注的点，主要是：

1. 有序IO的API。orderedWait请求的顺序和返回的顺序一致。

2. 无序IO的API。unorderedWait，主要是请求元素的顺序与返回元素的顺序不保证一致。

问浪尖比较多的还有两个参数含义：

1. Timeout。请求超时时间。