Flink源码分析--(一)异步I/O访问外部数据：AsyncWaitOperator

最新推荐文章于 2023-07-21 20:13:08 发布
VIP文章 最新推荐文章于 2023-07-21 20:13:08 发布
阅读量991 收藏 1
点赞数
分类专栏： flink 文章标签： flink 异步io RichAsyncFunction AsyncWaitOperator
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LS_ice/article/details/90641984
版权

文章目录

一、异步I/O概述

Flink流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求(例如在MapFunction中，同步方式访问)，然后等待结果返回，在这之前，我们无法发送用户b的查询请求

最低0.47元/天 解锁文章
LS_ice
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
flink- AsyncDataStream 异步处理
龍承leo
02-25 2712
1、AsyncDataStream有2个方法：unorderedWait表示数据不需要关注顺序，处理完立即发送，orderedWait表示数据需要关注顺序，为了实现该目标，操作算子会在该结果记录之前的记录为发送之前缓存该记录。这往往会引入额外的延迟和一些Checkpoint负载，因为相比于无序模式结果记录会保存在Checkpoint状态内部较长的时间。 ...
Flink笔记-异步IO
ooeeerrtt的博客
05-09 1083
1、异步IO AsyncDataStream Async I/O提供了两种模式:ORDERED和UNORDERED. UNORDERED:异步请求一结束就马上输出结果,因为异步请求完成时间的不确定性,结果输出的顺序可能和输入不同. 此模式调用:AsyncDataStream.unorderedWait(...) ORDERED:在这个模式下结果输出的顺序和输入的顺序是一样的,为了实现这一...
Flink学习笔记：异步I/O访问外部数据
大数据研习社
03-22 2945
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程： Flink大数据项目实战：http://t.cn/ExrHPl9 Aysnc I/O 1.1Aysnc I/O是啥？ Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。 主要目的：是为了解决与外部系统交互时...
深入理解Flink异步I/O原理
墨玉浮白的博客
05-16 752
当StreamElement被添加到指定的StreamElementQueue队列后，接着就该调用用户自定义处理函数AsyncFunction#asyncInvoke()方法来对队列中的StreamElement执行异步处理逻辑。回顾demo，在自定义处理函数的最后，手动调用了ResultFuture.complete()方法。作为ResultFuture接口的实现子类，ResultHandler提供了对“执行完异步处理逻辑的结果”进行后续处理的具体实现逻辑/**
flink的异步接口调用
qq_44962429的博客
02-14 2597
同步接口的调用，是在接口响应之后，才能进行下一数据的请求方法，在接口性能不佳的情况下，严重影响flink的性能，这与flink的实时思想有违背，为了避免这种情况，我们在接口调用的时候，可以采取异步的方式。 不废话，直接上代码，需要原理自行官方文档。 AsyncDataStream.unorderedWait(dataSource, new HttpAsyncFunction("url"), 300...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是...
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）
05-07
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行...
flink-table-planner-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-table-planner_2.12-1.14.3.jar 赠送原API文档：flink-table-planner_2.12-1.14.3-javadoc.jar 赠送源代码：flink-table-planner_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-table-...
Flink之AsyncDataStream
a724952091的博客
09-14 5043
在flink使用过程中，虽然flink有state(状态)可以用来存储很多的缓存数据，但是不可避免的要与其他如redis，hbase 发生交互，除了这些数据库外 更常见的是可能业务需要去调个api填充信息，默认情况下，在MapFunction中，单个并行只能用同步方式去交互: 将请求发送到外部存储，IO阻塞，等待请求返回，然后继续发送下一个请求。这种同步交互的方式往往在网络等待上就耗费了大量时间 。 Flink 在1.2中引入了Async I/O，在异步模式下,将IO操作异步化，单个并行可以连续发送多个请
Flink使用AsyncDataStream异步处理数据--性能提升效果
BigManing的博客
06-25 1124
一共有20条数据，每条数据处理需要2秒，分别使用同步、异步方式处理，一共需要多久才能处理完呢
flink实战--异步IO（RichAsyncFunction）解析
阿华田的博客
08-21 6408
简介 我们知道flink对于外部数据源的操作可以通过自带的连接器，或者自定义sink和source实现数据的交互，那么为啥还需要异步IO呢？那时因为对于实时处理，当我们需要使用外部存储数据参与计算时，与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。如果我们是使用传统方式mapfunction等算子里访问外部存储，实际上该交互过程是同步的：比如请求a发送到数据...
Flink中异步AsyncIO的实现 (源码分析)
爱无止
11-15 409
先上张图整体了解Flink中的异步io 阿里贡献给flink的，优点就不说了嘛，官网上都有，就是写库不会柱塞性能更好 然后来看一下， Flink 中异步io主要分为两种 　　一种是有序Ordered 　　一种是无序UNordered 主要区别是往下游output的顺序（注意这里顺序不是写库的顺序既然都异步了写库的顺序自然是无法保证的），有序的会按接收的顺序继续往下游output发送，...
聊聊flink的AsyncWaitOperator
weixin_33778778的博客
01-20 403
序 本文主要研究一下flink的AsyncWaitOperator AsyncWaitOperator flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/operators/async/AsyncWaitOperator.java @Internal public class AsyncWaitO...
Flink源码剖析：Flink Async I/O的三种模式
welcome to daijiguo's blog
06-16 1383
文章目录1. 维表join2. richmapfunction2.1 示例3. asyncio3.1 示例3.2 Ordered模式3.2.1 生产3.2.2 消费3.3 基于processtime的unordered模式3.3.1 生产3.3.2 消费3.4 基于eventTime的unordered模式3.4.1 生产3.4.2 消费4. 总结 1. 维表join 流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求，然
新建类AsyncEsDataRequest继承RichAsyncFunction类.
大JAVA解决方案
06-02 404
Flink入门(五) 实时流Join ElasticSearch6维度表 小白鸽 2018-12-18 18:54:52 3363 已收藏 4 展开 需求 实时流需要和维护表Join做属性的扩展. Spark-Streaming可以 stream join hive表. flink没发现这个功能,所以将维度表放在ES上. maven依赖 <properties> <project.build.sourceEncoding>UTF-8</projec...
flink-RichAsyncFunction
weixin_34284188的博客
03-13 1410
2019独角兽企业重金招聘Python工程师标准>>> ...
【Flink】Flink使用异步IO RichAsyncFunction 不支持状态
最新发布
九师兄
07-21 169
今天想使用异步IO，然后想在里面使用状态，结果发现无法使用状态。写了一个异步函数如下测试类如下但是报错如下。
docker-compose.yml 文件中拉取flink容器 版本为1.17.0并在flink包的lib文件夹下加入三个以下三个依赖：https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.3.0/flink-sql-connector-mysql-cdc-2.3.0.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-postgres-cdc/2.3.0/flink-sql-connector-postgres-cdc-2.3.0.jar
06-07
好的，您可以按照以下的方式来编写docker-compose.yml文件： ``` version: '3.7' services: jobmanager: image: flink:1.17.0 command: jobmanager ports: - "8081:8081" taskmanager: image: flink:1.17.0 command: taskmanager depends_on: - jobmanager links: - jobmanager:jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_TASK_MANAGER_MEMORY_PROCESS_SIZE=1024m elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2 environment: - discovery.type=single-node ports: - "9200:9200" mysql: image: mysql:8.0 environment: - MYSQL_ROOT_PASSWORD=<your_password> - MYSQL_USER=<your_user> - MYSQL_PASSWORD=<your_password> - MYSQL_DATABASE=<your_database> ports: - "3306:3306" postgres: image: postgres:13.1 environment: - POSTGRES_USER=<your_user> - POSTGRES_PASSWORD=<your_password> - POSTGRES_DB=<your_database> ports: - "5432:5432" flink-job: image: flink:1.17.0 volumes: - ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar:/opt/flink/lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar - ./lib/flink-sql-connector-mysql-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-mysql-cdc-2.3.0.jar - ./lib/flink-sql-connector-postgres-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-postgres-cdc-2.3.0.jar command: jobmanager depends_on: - jobmanager - elasticsearch - mysql - postgres links: - elasticsearch:elasticsearch - mysql:mysql - postgres:postgres environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_TM_HEAP_SIZE=1024m - FLINK_PROPERTIES= - FLINK_ENV_JAVA_OPTS= - FLINK_ENV_JAVA_TOOL_OPTIONS= - FLINK_CONF_DIR=/opt/flink/conf - FLINK_LIB_DIR=/opt/flink/lib - FLINK_PLUGINS_DIR=/opt/flink/plugins - FLINK_OPT_DIR=/opt/flink/opt - FLINK_LOG_DIR=/opt/flink/log - FLINK_HOME=/opt/flink volumes: - ./job.jar:/opt/flink/job.jar - ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml ``` 其中需要注意的是： 1. 在 `flink-job` 服务中，我们使用了 `volumes` 来挂载 `flink-conf.yaml` 和三个依赖的jar包到容器的 `/opt/flink/conf` 和 `/opt/flink/lib` 目录中。 2. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_PROPERTIES`，因为 Flink 在启动时会读取这个环境变量中的配置信息。 3. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_LIB_DIR`，这是因为 Flink 在启动时会从这个目录中加载依赖的jar包。 4. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_CONF_DIR`，这是因为 Flink 在启动时会读取这个目录中的配置文件。 5. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_HOME`，这是因为 Flink 在启动时需要知道它的安装路径。 上述的docker-compose.yml文件可以满足您的要求，在启动容器后，您可以使用以下的命令来进入到flink-job容器中： ``` docker-compose run flink-job /bin/bash ``` 然后，您可以在容器中运行Flink任务了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值