超级会员免费看
本文介绍了Flink的异步IO特性，旨在解决与外部系统交互时的网络延迟问题，提高流计算系统的吞吐量。通过AsyncFunction实现异步流式转换，详细阐述了Async I/O API的使用、超时处理、顺序控制以及容错和最佳实践。此外，还讨论了如何利用AsyncDataStream工具类进行有序和无序等待操作。
1 Aysnc I/O是啥？
Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。
主要目的：是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。
场景：
流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求(例如在MapFunction中)，然后等待结果返回，在这之前，我们无法发送用户b的查询请求。这是一种同步访问的模式，如下图左边所示。
图中棕色的长条表示等待时间，可以发现网络等待时间极大地阻碍了吞吐和延迟。为了解决同步访问的问题，异步模式可以并发地处理多个请求和回复。也就是说，你可以连续地向数据库发送用户a、b、c等的请求，与此同时，哪个请求的回复先返回了就处理哪个回复，从而连续的请求之间不需要阻塞等待，如上图右边所示。这也正是 Async I/O 的实现原理。
2 提高吞吐量的两种方式对比
目标：提高吞吐量
3 使用Aysnc I/O的前提条件
1.数据库(或key/valu
订阅专栏 解锁全文
571
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
