超级会员免费看
本文介绍了Flink中异步IO的原理和使用，旨在解决与外部系统交互时的网络延迟问题。通过Async I/O，可以并发处理多个请求和回复，提高系统的吞吐和延迟性能。文章详细讲解了异步IO的实现、输出模式以及自定义异步查询的方法，特别提到了如何在没有异步查询客户端的情况下利用线程池模拟异步操作，并给出了使用Redis的案例。
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦
简介
我们知道flink对于外部数据源的操作可以通过自带的连接器，或者自定义sink和source实现数据的交互，那么为啥还需要异步IO呢？那时因为对于实时处理，当我们需要使用外部存储数据参与计算时，与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。如果我们是使用传统方式mapfunction等算子里访问外部存储，实际上该交互过程是同步的：比如请求a发送到数据库，那么mapfunction会一直等待响应。在很多案例中，这个等待过程是非常浪费函数时间的。
异步IO原理
Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。流计算系统中经常需要与外部系统进行交互&
订阅专栏 解锁全文
扫一扫
584
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
