6、Flink 添加 Table API 的 Pipelines 到 DataStream API 详解

猫猫爱吃小鱼粮

于 2024-08-14 09:40:28 发布

阅读量125

点赞数 3

分类专栏： Flink SQL 文章标签： flink 大数据

本文链接：https://blog.csdn.net/m0_50186249/article/details/141182027

版权

Flink SQL 专栏收录该内容

29 篇文章 0 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

单个 Flink 作业可以由多个相邻运行的断开连接的 Pipeline 组成。

表 API 中定义的 Source-to-sink pipelines 可以作为一个整体附加到 StreamExecutionEnvironment，并在调用 DataStream API 中的某个执行方法时提交。

但是 source 不一定必须是 table source，也可以是以前转换为表 API 的另一个 DataStream Pipeline；因此可以为 DataStream API 程序使用 table sinks。

该功能可通过使用 StreamTableEnvironment.createStatementSet() 创建的专用 StreamStatementSet 实例获得，通过使用语句集，计划器可以批次优化所有添加的语句，并在调用 StreamStatementSet.attachAsDataStream() 时生成一个或多个添加到StreamExecutionEnvironment 的端到端 Pipeline。

示例：在一个作业中将表程序添加到 DataStream API 程序中

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streami