Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？

最新推荐文章于 2024-10-24 16:28:29 发布
最新推荐文章于 2024-10-24 16:28:29 发布
阅读量1.3k 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44904816/article/details/102550056
版权
640?wx_fmt=png
徐榜江（雪尽），Apache Flink Contributor，阿里巴巴计算平台事业部高级开发工程师，目前专注于 Flink SQL 模块的开发。

本文为 Flink SQL 系列文章的第二篇，前面对  的使用进行了详细说明，本文详细讲解 5 个 TableEnvironment 及其适用场景，并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下：

1. TableEnvironment 简介
2. 5 个 TableEnvironment 梳理
3. 如何使用 TableEnvironment
4. 社区未来规划

1. TableEnvironment 简介


TableEnvironment 是用来创建 Table & SQL 程序的上下文执行环境 ，也是 Table & SQL 程序的入口，Table & SQL 程序的所有功能都是围绕 TableEnvironment 这个核心类展开的。TableEnvironment 的主要职能包括：对接外部系统，表及元数据的注册和检索，执行SQL语句，提供更详细的配置选项。

在 Flink 1.8 中，一共有 7 个 TableEnvironment ，在最新的 Flink 1.9 中，社区进行了重构和优化，只保留了 5 个TableEnvironment 。本文详细讲解 5 个 TableEnvironment 及其适用场景，并介绍 Flink 社区对 TableEnvironment 的未来规划。

2. 5 个 TableEnvironment 梳理


Flink 1.9 中保留了 5 个 TableEnvironment，在实现上是 5 个面向用户的接口，在接口底层进行了不同的实现。5 个接口包括一个 TableEnvironment 接口，两个 BatchTableEnvironment 接口，两个 StreamTableEnvironment 接口，5 个接口文件完整路径如下：

  • org/apache/flink/table/api/TableEnvironment.java

  • org/apache/flink/table/api/java/BatchTableEnvironment.java

  • org/apache/flink/table/api/scala/BatchTableEnvironment.scala

  • org/apache/flink/table/api/java/StreamTableEnvironment.java

  • org/apache/flink/table/api/scala/StreamTableEnvironment.scala


结合文件的路径，梳理这 5 个接口，我们会发现 TableEnvironment 是顶级接口，是所有 TableEnvironment 的基类 ，BatchTableEnvironment 和 StreamTableEnvironment 都提供了 Java 实现和 Scala 实现 ，分别有两个接口。

640?wx_fmt=png

5 个 TableEnvironment

其中，TableEnvironment 作为统一的接口，其统一性体现在两个方面，一是对于所有基于JVM的语言(即 Scala API 和 Java API 之间没有区别)是统一的；二是对于 unbounded data （无界数据，即流数据） 和 bounded data （有界数据，即批数据）的处理是统一的。TableEnvironment 提供的是一个纯 Table 生态的上下文环境，适用于整个作业都使用 Table API & SQL 编写程序的场景。TableEnvironment 目前还不支持注册 UDTF 和 UDAF，用户有注册 UDTF 和 UDAF 的需求时，可以选择使用其他 TableEnvironment。

两个 StreamTableEnvironment 分别用于 Java 的流计算和 Scala 的流计算场景 ，流计算的对象分别是 Java 的 DataStream  和 Scala 的 DataStream。相比 TableEnvironment，StreamTableEnvironment 提供了 DataStream 和 Table 之间相互转换的接口，如果用户的程序除了使用 Table API & SQL 编写外，还需要使用到 DataStream API，则需要使用 StreamTableEnvironment。    

两个 BatchTableEnvironment 分别用于 Java 的批处理场景和 Scala 的批处理场景 ，批处理的对象分别是 Java 的 DataSet 和 Scala 的 DataSet。相比 TableEnvironment，BatchTableEnvironment 提供了 DataSet 和 Table 之间相互转换的接口，如果用户的程序除了使用 Table API & SQL 编写外，还需要使用到 DataSet API，则需要使用 BatchTableEnvironment。    

从这五个 TableEnvironment 支持的作业类型 ( Stream 作业和 Batch 作业)，支持的 API 类型（DataStream API 和 DataSet API)，以及对 UDTF/UDAF 的支持这 5 个方面进行对比，各个TableEnvironment 支持的功能可以归纳如下：

640?wx_fmt=png

TableEnvironment 支持功能对比

可能大家会疑惑为什么在 API 需要区分 Java 和 Scala 的两个 StreamTableEnvironment（或BatchTableEnvironment ），使用的 DataStream也分为 Java DataStream 和 Scala DataStream。

原因主要是 TableEnvironment 的 registerTableFunction方法（用于注册UDTF） 和 registerAggregateFunction 方法（用户注册UDAF） 需要抽取泛型，而现有的 Java 泛型抽取和 Scala 的泛型抽取机制是不一样的，Java 的抽取是通过反射机制 实现，而 Scala 是通过 Scala macro 实现。此外，由于抽取泛型机制的不一致，作为统一入口的 TableEnvironment 现阶段也不支持注册 UDTF 和 UDAF。针对这个问题，社区已经在计划引入一套新的类型抽取机制来统一 Java 和 Scala 的类型抽取，实现 Java API 和 Scala API 的统一。 

640?wx_fmt=png

5 个 TableEnvironment 具体实现

结合 Flink planner 和 Blink planner， 进一步梳理 TableEnvironment 的组织关系，我们可以注意到一些有趣的细节：

  • 实现流批统一的 Blink planner 中由于没有了 DataSet 的概念，已经不再使用 BatchTableEnvironment，只会使用 TableEnvironment 和 StreamTableEnvironment，而 Flink planner（即 Old planner） 则支持 5 个 TableEnvironment。

  • BatchTableEnvironment 的实现都放到了 Old planner (flink-table-palnner模块) 中，这个模块在社区的未来规划中是会被逐步删除的。


3. 如何使用 TableEnvironment


根据用户使用的 planner 和作业的类型，可以把各个 TableEnvironment 的应用场景分为 4 类,下面结合代码来说明在不同的场景下如何使用 TableEnvironment 。

  • 场景一：


用户使用 Old planner，进行流计算的 Table 程序 （使用 Table API 或 SQL 进行开发的程序 ）的开发 。这种场景下，用户可以使用 StreamTableEnvironment 或 TableEnvironment ，两者的区别是 StreamTableEnvironment 额外提供了与 DataStream API 交互的接口。示例代码如下： 

// **********************	
// FLINK STREAMING QUERY USING JAVA	
// **********************	
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;	
import org.apache.flink.table.api.EnvironmentSettings;	
import org.apache.flink.table.api.java.StreamTableEnvironment;	
EnvironmentSettings fsSettings = EnvironmentSettings.newInstance().useOldPlanner().inStreamingMode().build();	
StreamExecutionEnvironment fsEnv = StreamExecutionEnvironment.getExecutionEnvironment();	
StreamTableEnvironment fsTableEnv = StreamTableEnvironment.create(fsEnv, fsSettings);	
// or TableEnvironment fsTableEnv = TableEnvironment.create(fsSettings);	
// **********************	
// FLINK STREAMING QUERY USING SCALA	
// **********************	
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment	
import org.apache.flink.table.api.EnvironmentSettings	
import org.apache.flink.table.api.scala.StreamTableEnvironment	
val fsSettings = EnvironmentSettings.newInstance().useOldPlanner().inStreamingMode().build()	
val fsEnv = StreamExecutionEnvironment.getExecutionEnvironment	
val fsTableEnv = StreamTableEnvironment.create(fsEnv, fsSettings)	
// or val fsTableEnv = TableEnvironment.create(fsSettings)

  • 场景二：


用户使用 Old planner，进行批处理的 Table 程序的开发。 这种场景下，用户只能使用 BatchTableEnvironment ，因为在使用 Old planner 时，批处理程序操作的数据是 DataSet，只有 BatchTableEnvironment 提供了面向DataSet 的接口实现。示例代码如下： 

// ******************	
// FLINK BATCH QUERY USING JAVA	
// ******************	
import org.apache.flink.api.java.ExecutionEnvironment;	
import org.apache.flink.table.api.java.BatchTableEnvironment;	
ExecutionEnvironment fbEnv = ExecutionEnvironment.getExecutionEnvironment();	
BatchTableEnvironment fbTableEnv = BatchTableEnvironment.create(fbEnv);	
// ******************	
// FLINK BATCH QUERY USING SCALA	
// ******************	
import org.apache.flink.api.scala.ExecutionEnvironment	
import org.apache.flink.table.api.scala.BatchTableEnvironment	
val fbEnv = ExecutionEnvironment.getExecutionEnvironment	
val fbTableEnv = BatchTableEnvironment.create(fbEnv)

  • 场景三：


用户使用 Blink planner，进行流计算的 Table 程序的开发。 这种场景下，用户可以使用 StreamTableEnvironment 或 TableEnvironment ，两者的区别是 StreamTableEnvironment 额外提供与 DataStream API 交互的接口。用户在 EnvironmentSettings 中声明使用 Blink planner ，将执行模式设置为 StreamingMode 即可。示例代码如下：
  
// **********************	
// BLINK STREAMING QUERY USING JAVA	
// **********************	
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;	
import org.apache.flink.table.api.EnvironmentSettings;	
import org.apache.flink.table.api.java.StreamTableEnvironment;	
StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment();	
EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();	
StreamTableEnvironment bsTableEnv = StreamTableEnvironment.create(bsEnv, bsSettings);	
// or TableEnvironment bsTableEnv = TableEnvironment.create(bsSettings);	
// **********************	
// BLINK STREAMING QUERY USING SCALA	
// **********************	
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment	
import org.apache.flink.table.api.EnvironmentSettings	
import org.apache.flink.table.api.scala.StreamTableEnvironment	
val bsEnv = StreamExecutionEnvironment.getExecutionEnvironment	
val bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build()	
val bsTableEnv = StreamTableEnvironment.create(bsEnv, bsSettings)	
// or val bsTableEnv = TableEnvironment.create(bsSettings)

  • 场景四：


用户使用 Blink planner，进行批处理的 Table 程序的开发。 这种场景下，用户只能使用 TableEnvironment ，因为在使用 Blink planner 时，批处理程序操作的数据已经是 bounded DataStream，所以不能使用 BatchTableEnvironment 。用户在 EnvironmentSettings 中声明使用 Blink planner ，将执行模式设置为 BatchMode 即可。值得注意的是，TableEnvironment 接口的具体实现中已经支持了 StreamingMode 和 BatchMode 两种模式，而 StreamTableEnvironment 接口的具体实现中目前暂不支持 BatchMode 的配置，所以这种场景不能使用 StreamTableEnvironment。示例代码如下：
  
// ******************	
// BLINK BATCH QUERY USING JAVA	
// ******************	
import org.apache.flink.table.api.EnvironmentSettings;	
import org.apache.flink.table.api.TableEnvironment;	
EnvironmentSettings bbSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build();	
TableEnvironment bbTableEnv = TableEnvironment.create(bbSettings);	
// ******************	
// BLINK BATCH QUERY USING SCALA	
// ******************	
import org.apache.flink.table.api.{EnvironmentSettings, TableEnvironment}	
val bbSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build()	
val bbTableEnv = TableEnvironment.create(bbSettings)

4. 社区未来规划


目前，社区正在推进 DataStream 的批处理能力，以实现流批技术栈的统一，届时 DataSet API 会退出历史的舞台，两个 BatchTableEnvironment 也将退出历史的舞台。同时社区也在努力推动 Java 和 Scala TableEnvironment 的统一。可以预见的是，Flink TableEnvironment  的未来架构会更加简洁。TableEnvironment 会是 Flink 推荐使用的入口类，同时能支持 Java API 和 Scala API，还能同时支持流计算作业和批处理作业。只有当需要与 DataStream 做转换时，才需要用到 StreamTableEnvironment。

# Apache Flink 应用系列文章 #


▼ Flink 社区推荐 ▼ 

Apache Flink 及大数据领域盛会 Flink Forward Asia 2019 将于 11月28-30日在北京国家会议中心举办，大会议程已上线，点击「阅读原文」可了解更多议程详情。

▼ 
▼ 

（点击图片可查看 Flink Forward Asia 2019 详情）
你也「 在看 」吗？
Apache Flink
关注
Flink创建TableEnvironment
BugEveryday的博客
03-11 856
而在写代码时会发现，通过静态方法 TableEnvironment.create() 创建时，create()方法有两种参数，一种就是官网上的EnvironmentSettings，另一种是Configuration。同样，看EnvironmentSettings的构造方法也可以发现默认的RUNTIME_MODE是StreamingMode。此外，我看的是1.14.4的源码，发现默认的planner已经是BLINK，而OLD未来将不会保留。
Flink-Table StreamTableEnvironment基础知识（三）
springk的专栏
01-16 9387
StreamTableEnvironment用于流计算场景，流计算的对象是DataStream。相比 TableEnvironment，StreamTableEnvironment 提供了 DataStream 和 Table 之间相互转换的接口，如果用户的程序除了使用 Table API & SQL 编写外，还需要使用到 DataStream API，则需要使用 StreamTableE...
FLINK 1.12.2 中的TableEnvironment
arwenlin的博客
05-13 2683
声明：本节参考文章为阿里云开发者社区《Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？》 TableEnvironment 是用来创建 Table & SQL 程序的上下文执行环境 ，也是 Table & SQL 程序的入口，Table & SQL 程序的所有功能都是围绕 TableEnvironment 这个核心类展开的。TableEnvironment 的主要职能包括：对接外部系统，表及元数据的注册和检索，执行SQL语句，提供更详细的配置选项
Flink之StreamTableEnvironment对象
sijiwang95的博客
04-11 2055
1.executeSql("sql 语句")可以执行SQL#2.sqlQuery("sql 语句")执行SQL查询，返回查询结果加载table到内存中把结果插入到table中在内存中创建临时表。
Flink流批一体计算（11）：PyFlink Tabel API之TableEnvironment
victory0508的专栏
07-05 1535
编写 Flink Python Table API 程序的第一步是创建 TableEnvironment。这是 Python Table API 作业的入口类。get_config()返回 table config，可以通过 table config 来定义 Table API 的运行时行为。
【FlinkSql篇02】FlinkSql之Table操作1
08-04
FlinkSql是 Apache Flink 的一个SQL解析引擎，它提供了对结构化数据的查询、转换和分析能力。Table是FlinkSql中的一种核心概念，表示的是一个结构化的数据集。在本篇文章中，我们将详细介绍FlinkSql中的Table操作。 ...
Flink SQL的使用
最新发布
LC的博客
10-24 1281
Flink SQL是apache Flink中的一种声明式的SQL API，它允许用户已SQL语句的形式对有界（批处理）和无界（流处理）数据进行查询和分析。
【Flink SQL】Flink SQL 基础概念（一）：SQL &amp； Table 运行环境(1)
2401_84166327的博客
04-27 807
Table API 是一种集成在 Java、Scala 和 Python 语言中的查询 API，简单理解就是用 Java、Scala、Python 按照 SQL 的查询接口封装了一层 lambda 表达式的查询 API，它允许以强类型接口的方式组合各种关系运算符（如选择、筛选和联接）的查询操作，然后生成一个 Flink 任务运行。SQL API 是基于 SQL 标准的 Apache Calcite 框架实现的，我们可以使用纯 SQL 来开发和运行一个 Flink 任务。
Flink-Table API 和 Flink SQL简介 | 新老版本Flink批流处理对比 | 读取文件和Kafka消费数据 | API 和 SQL查询表
SmallScorpion
05-31 1257
GitHub https://github.com/SmallScorpion/flink-tutorial.git Table API 和 Flink SQL 是什么 Flink 对批处理和流处理，提供了统一的上层 API Table API 是一套内嵌在 Java 和 Scala 语言中的查询API，它允许以非常直观的方式组合来自一些关系运算符的查询 Flink 的 SQL 支持基于实现了 SQL 标准的 Apache Calcite 基本程序结构 Table API 和 SQL 的程序结构，与流
聊聊flink TableEnvironment的scan操作
weixin_34293911的博客
01-22 511
为什么80%的码农都做不了架构师？>>> ...
Flink-Table BatchTableEnvironment实践编程（二）
springk的专栏
01-14 6984
了解了flink table 简单概念，在开发中实际操作起来，看一下代码的具体实践。 Flink 1.9中保留了5个TableEnvironment，在实现上是5个面向用户的接口，在接口底层进行了不同的实现。5个接口包括一个TableEnvironment接口，两个BatchTableEnvironment接口，两个StreamTableEnvironment接口，5个接口文件完整路径如下： ...
Flink TableAPI和SQL（三）基本API（二）创建表环境
weixin_45417821的博客
05-06 669
文章目录 对于 Flink 这样的流处理框架来说，数据流和表在结构上还是有所区别的。所以使用 Table API 和 SQL 需要一个特别的运行时环境，这就是所谓的“表环境”（TableEnvironment）。它主要负责： （1）注册 Catalog 和表； （2）执行 SQL 查询； （3）注册用户自定义函数（UDF）； （4）DataStream 和表之间的转换。 这里的 Catalog 就是“目录”，与标准 SQL 中的概念是一致的，主要用来管理所有数据库（database）和表（table）的元数
【Flink】Table API和SQL API
hlp4207的博客
05-13 1239
Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，例如选择，过滤和连接。无论输入是批输入还是流输入，任一接口中指定的查询都具有相同的语义并产生相同的结果。 flink版本：1.8.0 scala版本：2.11.8 1、使用maven引入相关依赖 &l...
Flink Table和SQL的TableEnvironment的创建、程序结构、简单使用示例
Bulut0907
12-30 4276
目录1. pom.xml依赖2. 使用Table处理有界和无界数据流例子3. 使用SQL处理有界和无界数据流例子3. Table API和SQL的概念3.1 TableEnvironment的创建3.2 Table API和SQL的程序结构3.3 Table API和SQL的简单使用3.3.1 聚合查询 1. pom.xml依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId&
【博学谷学习记录】超强总结，用心分享| Flink StreamExecutionEnvironment
我爱骑呆马的专栏
05-01 471
flink
2、Flink Table API & SQL - 概念和通用API
主要写大数据集群一线运维和学习工作经验
09-23 3264
Table API 和 SQL 集成在一个 API 中。这个 API 用作查询、输入和输出的表。本文档展示了带有 Table API 和 SQL 查询的程序的公共结构、如何注册表、如何查询表以及如何写入表。 目录 两个Planner之间的主要区别 Table API and SQL的结构 创建一个TableEnvironment 在 Calalog 中注册表 注册 Table 注册 ...
flinksql的初始化
qq_43662627的博客
02-17 748
Mavn的依赖 <properties> <java.version>1.8</java.version> <maven.compiler.source>${java.version}</maven.compiler.source> <maven.compiler.target>${java.version}</maven.compiler.target>
Flink sql
qq_37466464的博客
05-11 662
3.通过sql查询语句得到一张结果表result。2.注册表用于把数据载入输入。1.创建表的执行环境。//创建表的执行环境。//转化为table。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值