Flink源码分析--(一)异步I/O访问外部数据：AsyncWaitOperator

最新推荐文章于 2022-08-08 17:59:55 发布
最新推荐文章于 2022-08-08 17:59:55 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： flink 文章标签： flink 异步io RichAsyncFunction AsyncWaitOperator
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LS_ice/article/details/90641984
版权
本文深入探讨Flink流计算中异步I/O的实现，通过AsyncWaitOperator提升数据库访问并发度和系统性能。介绍如何创建AsyncWaitOperator，包括自定义UserAsyncFunction和调用AsyncDataStream的API。同时，分析了有序队列与无序队列在Flink异步I/O中的应用。
摘要由CSDN通过智能技术生成

文章目录

一、异步I/O概述

Flink流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求(例如在MapFunction中，同步方式访问)，然后等待结果返回，在这之前，我们无法发送用户b的查询请求

Flink Async I/O允许用户在数据流中使用支持异步访问的客户端（如果数据库没有可以自行封装，例如自己实现一个Runnable，run()方法最后调用#asyncInvoke()提供的resultFuture返回结果），AsyncWaitOperator会处理与数据流的交互，同时在处理顺序、事件时间、容错有相应的实现，能够提升访问数据库的并发度和流计算系统并行处理性能

本文主要介绍异步I/O在Flink源码层的实现，关于异步I/O应用层原理，推荐阅读Flink(1.9.0)官方文档，里面介绍得比较详细：Asynchronous I/O for External Data Access ，也有一些翻译文章Flink学习笔记：异步I/O访问外部数据，对应Github代码示例在

最低0.47元/天 解锁文章
Flink使用异步I/O访问外部数据
扛麻袋的少年的博客
02-14 2573
Flink学习笔记(十五)：本文示例参考自：1.Flink官方文档      2.HttpAsyncClient（异步HttpClient）      3.高德地图(地理/逆地理编码) 1.异步I/O操作的需求  ...
Apache Flink 异步I/O机制：Flink AsyncI/O 的创新实践
AI天才研究院
09-25 727
在大数据流处理领域,实时性和吞吐量一直是两个关键的挑战。传统的同步I/O模式会阻塞整个流处理管道,限制了系统的吞吐量。为了解决这个问题,Apache Flink引入了异步I/O机制,通过非阻塞的异步请求大幅提升吞吐量,同时保证了端到端的一致性。拦截算子的同步I/O请求,转换为异步请求异步请求返回后,将结果缓存并注册回调函数根据水位线判断异步结果是否就绪就绪的异步结果被输出,未就绪的继续等待超时的异步请求按照既定逻辑处理这个过程兼顾了低延迟和高吞吐,同时确保了结果的正确性和有序性。
std::async 源码解析
c553110519的专栏
08-08 691
分析std 标准库c++11 中的async 源码
聊聊flink的AsyncWaitOperator
weixin_33778778的博客
01-20 443
序 本文主要研究一下flink的AsyncWaitOperator AsyncWaitOperator flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/operators/async/AsyncWaitOperator.java @Internal public class AsyncWaitO...
Flink中异步AsyncIO的实现 (源码分析)
爱无止
11-15 471
先上张图整体了解Flink中的异步io 阿里贡献给flink的，优点就不说了嘛，官网上都有，就是写库不会柱塞性能更好 然后来看一下， Flink 中异步io主要分为两种 　　一种是有序Ordered 　　一种是无序UNordered 主要区别是往下游output的顺序（注意这里顺序不是写库的顺序既然都异步了写库的顺序自然是无法保证的），有序的会按接收的顺序继续往下游output发送，...
flink- AsyncDataStream 异步处理
龍承leo
02-25 2927
1、AsyncDataStream有2个方法：unorderedWait表示数据不需要关注顺序，处理完立即发送，orderedWait表示数据需要关注顺序，为了实现该目标，操作算子会在该结果记录之前的记录为发送之前缓存该记录。这往往会引入额外的延迟和一些Checkpoint负载，因为相比于无序模式结果记录会保存在Checkpoint状态内部较长的时间。 ...
Flink之AsyncDataStream
a724952091的博客
09-14 5337
在flink使用过程中，虽然flink有state(状态)可以用来存储很多的缓存数据，但是不可避免的要与其他如redis，hbase 发生交互，除了这些数据库外 更常见的是可能业务需要去调个api填充信息，默认情况下，在MapFunction中，单个并行只能用同步方式去交互: 将请求发送到外部存储，IO阻塞，等待请求返回，然后继续发送下一个请求。这种同步交互的方式往往在网络等待上就耗费了大量时间 。 Flink 在1.2中引入了Async I/O，在异步模式下,将IO操作异步化，单个并行可以连续发送多个请
大数据Flink项目案例-电商用户行为数据分析项目源码.zip
最新发布
12-13
大数据Flink项目案例---电商用户行为数据分析项目源码.zip大数据Flink项目案例---电商用户行为数据分析项目源码.zip大数据Flink项目案例---电商用户行为数据分析项目源码.zip大数据Flink项目案例---电商用户行为数据...
Flink源码分析-Job调度部署运行流程.pdf
09-19
Flink源码分析-Job调度部署运行流程.pdf
Flink源码剖析：Flink Async I/O的三种模式
welcome to daijiguo's blog
06-16 1566
文章目录1. 维表join2. richmapfunction2.1 示例3. asyncio3.1 示例3.2 Ordered模式3.2.1 生产3.2.2 消费3.3 基于processtime的unordered模式3.3.1 生产3.3.2 消费3.4 基于eventTime的unordered模式3.4.1 生产3.4.2 消费4. 总结 1. 维表join 流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求，然
Flink通过异步流关联Mysql
Appreciate(欣赏)
02-17 1551
对于异步 I/O 操作的需求 在与外部系统交互（用数据库中的数据扩充流数据）的时候，需要考虑与外部系统的通信延迟对整个流处理应用的影响。 简单地访问外部数据库的数据，比如使用 MapFunction，通常意味着同步交互： MapFunction 向数据库发送一个请求然后一直等待，直到收到响应。在许多情况下，等待占据了函数运行的大部分时间。 与数据库异步交互是指一个并行函数实例可以并发地处理多个请求和接收多个响应。这样，函数在等待的时间可以发送其他请求和接收其他响应。至少等待的时间可以被多个请求摊分。大多数情
Flink之Asynchronous I/O异步操作
lixinkuan的博客
02-19 955
一、Asynchronous I/O简介 官网：http://flink.iteblog.com/dev/stream/asyncio.html 　　将Flink用于流计算时，若涉及到和外部系统进行交互，如利用Flink从数据库中读取数据，这种需要获取I/O的场景时，我们需要考虑交互所带来的时延问题。 　　为分析如何减少时延，我们先来分析一下，Flink以同步的形式方法外部系统（以MapFunction中和数据库交互为例）的过程，若图1虚线左侧所示，请求a发送到database后，MapFuncti.
flink 异步IO AsyncFunction
yang灬仔
03-19 1302
flink使用AsyncFunction 在流式处理的过程中, 在中间步骤的处理中, 如果涉及到一些费事的操作或者是外部系统的数据交互, 那么就会给整个流造成一定的延迟. 在 flink 的 1.2 版本中引入了 Asynchronous I/O, 能够支持异步的操作, 以提高 flink 系统与外部数据系统交互的性能及吞吐量. 在使用 Flink 的异步 IO 时, 主要有两个 API可以使用, 一个是AsyncDataStream.unorderedWait( ), ...
Flink1.4 用于外部数据访问的异步IO
SmartSi
03-07 2117
原文来源：Flink1.4 用于外部数据访问的异步IO1. 异步IO操作的必要性当与外部系统交互时（例如，使用存储在数据库中数据丰富流事件），需要注意与外部系统的通信延迟并不决定流应用程序的整体工作。访问外部数据库中的数据（例如在 MapFunction 中）通常意味着同步交互：将请求发送到数据库，MapFunction 会等待直到收到响应。在许多情况下，这个等待时间占了该函数绝大部分时间。与外部...
Flink中richfunction的一点小作用
热门推荐
a6822342的博客
10-12 1万+
①传递参数 所有需要用户定义的函数都可以转换成richfunction，例如实现map operator中你需要实现一个内部类，并实现它的map方法：data.map (new MapFunction<String, Integer>() { public Integer map(String value) { return Integer.parseInt(value); } });然后我们
JD(2014)
来自星星的你的专栏
10-15 702
第一部分 数据结构与算法 1：链表不具备的特点是 A 可随机访问任何一个元素      B 插入，删除操作不需要移动元素 C 无需事先估计存储空间大小    D 所欲存储空间与线性表长度成正比 2：在一个单链表中，若删除P所指结点的后续结点，则执行 A p = p->next；p->next = p->next->next; B p->next = p->nex
flink异步io应用场景之流表join维表
vincent_duan的专栏
10-12 955
背景 Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。 流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求，然后等待结果返回，在这之前，我们无法发送用户b的查询请求。这是一种同步访问的模式，如下图左边所示。 图中棕...
顺序队列(Sequential Queue)
Catherine的笔记
05-26 7494
顺序队列(Sequential Queue) 1. 顺序队列的概念 1.1 顺序队列的定义 顺序队列是基于数组的存储表示实现的队列。 1.2 顺序队列中各元素的逻辑及存储关系 顺序队列可以采用顺序表作为其存储表示，因此，可以在顺序队列的声明中用顺序表定义它的存储空间。 顺序队列可以使用一维数组作为队列的存储空间，存放队列元素的数组的头指针为*elements，该数组的最大允许存放元素个数为maxSize，当前
docker-compose.yml 文件中拉取flink容器 版本为1.17.0并在flink包的lib文件夹下加入三个以下三个依赖：https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.3.0/flink-sql-connector-mysql-cdc-2.3.0.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-postgres-cdc/2.3.0/flink-sql-connector-postgres-cdc-2.3.0.jar
06-07
1. 在 `flink-job` 服务中，我们使用了 `volumes` 来挂载 `flink-conf.yaml` 和三个依赖的jar包到容器的 `/opt/flink/conf` 和 `/opt/flink/lib` 目录中。 2. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值