Table & SQL

最新推荐文章于 2022-03-30 09:10:00 发布
最新推荐文章于 2022-03-30 09:10:00 发布
阅读量114 收藏
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728683
版权
本文介绍了Flink 1.9版本引入的Blink SQL查询处理器，包括其增强的功能和优化。Table API&SQL作为声明式语言，简化了流处理和批处理的开发，提供高效的查询优化。此外，文章还详细阐述了Flink Table项目的模块结构、两种查询处理器的区别、项目依赖、TableEnvironment的创建以及Table的注册和查询。
摘要由CSDN通过智能技术生成

前面的内容都是讲解 DataStream 和 DataSet API 相关的，在 1.2.5 节中讲解 Flink API 时提及到 Flink 的高级 API——Table API&SQL，本节将开始 Table&SQL 之旅。

新增 Blink SQL 查询处理器

在 Flink 1.9 版本中，合进了阿里巴巴开源的 Blink 版本中的大量代码，其中最重要的贡献就是 Blink SQL 了。在 Blink 捐献给 Apache Flink 之后，社区就致力于为 Table API&SQL 集成 Blink 的查询优化器和 runtime。先来看下 1.8 版本的 Flink Table 项目结构如下图：

1.9 版本的 Flink Table 项目结构图如下：

可以发现新增了 flink-sql-parser、flink-table-planner-blink、flink-table-runtime-blink、flink-table-uber-blink 模块，对 Flink Table 模块的重构详细内容可以参考

了解本专栏 订阅专栏 解锁全文
zhisheng_blog
关注
专栏目录
订阅专栏
Flink 1.14 Table & SQL 第一个程序 WordCount
SmartSi
04-11 2036
Flink 版本：1.14.4 Apache Flink 具有两个关系 API：Table API 和 SQL。Table API 是用于 Java、Scala 和 Python 的集成语言查询 API，可以以非常直观的方式组合不同关系运算符（例如 SELECT、FILTER 以及 JOIN）构建复杂查询。Flink SQL 基于 Apache Calcite 实现。无论输入是无界的（流式）还是有界的（批处理），任意查询都具有相同的语义并输出相同的结果。Table API 和 SQL 可以与 Flink.
Flink Table API & SQL 类型系统 DataType
SmartSi
05-03 1229
Flink 版本：1.13.5 由于历史原因，在 Flink 1.9 之前，Flink 的 Table API & SQL 数据类型与 Flink 的 TypeInformation 紧密耦合。TypeInformation 主要用于 DataStream 和 DataSet API 中，为系统序列化和反序列化基于 JVM 的对象提供必要的信息。 但是，TypeInformation 原本的设计目的并不能表示不同实际 JVM 类的逻辑类型。因此 SQL 的标准类型很难与这种抽象进行映射。此外，某.
flink Table & SQL概述与实例
yiweiyi329的博客
12-19 1806
flink table实例欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用
Flink Table & SQL 行列转换
王佩的CSDN博客
12-12 5122
总结Flink Table & SQL 中，如何将一个数组(Array)或对象(Map)展开。 测试数据 用datagen连接器构造测试数据。DDL如下: CREATE TABLE source_table ( userId INT, eventTime as '2021-10-01 08:08:08', eventType as 'click', productId INT, -- 数组(Array)类型 productImages as ARRAY
flink1.11.2中Table & SQL连接kafka
weixin_43943806的博客
11-30 9330
#flink连接kafka并读取数据 前提条件 flink版本1.11.2 直接上代码 import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.
flink（十二）：Table&Sql实现kafka输入输出
幻神舞的专栏
07-02 1919
文章目录分享说明资料过程代码kafka操作总结 分享 大数据博客列表 说明 本博客每周五更新一次。 实时计算处理中，kafka是重要的分布式消息队列，常作为 Flink 计算的输入和输出，本博客将使用 Flink 1.2实现 kafka 对数据的输入和输出操作。 资料 官方Flink 1.12 Table API&SQL kafka操作文档地址 过程 从kafka：input_kafka主题消费数据并生成Table，然后过滤状态为success的数据再写回到kafka：outpu_ka
[Flink课程]---- 2.2 DataSet API & DataStream API & Table & SQL API 的对比
欢迎来到我的博客，一起探索代码里的世界！
12-22 2534
说明 本文基于 Flink -1.6.0 版本进行整理和分析，如有不妥之处，敬请指正。 内容 一、Flink 的技术栈 图片来源：https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html 注意 Table API & SQL 统一了 DataStre...
6-3Table API & SQL简介
热门推荐
MOL
10-02 1万+
为了统一批处理和流处理： Apache Flink features two relational APIs - the Table API and SQL - for unified stream and batch processing. The Table API is a language-integrated query API for Scala and Java that allows the composition of queries from relational operators
Flink 1.9 Table API& Sql支持的Data Type
数据工匠记
02-11 8161
Flink 1.9 Table API & SQL 新特性主要包括如下： 全新的 SQL 类型系统：Table API & SQL 1.9 引入了全新的 SQL 的类型系统。以往的Table 层的类型系统复用了 Runtime 的 TypeInformation，但在实际操作过程当中遇到较多的限制。引入全新的 SQL 类型系统可以更好的对齐 SQL 语义。 DDL初步支持：这个...
1、Flink Table API & SQL - 开发基础代码样例和maven依赖
飞朋的博客
10-23 7741
目录 MAVEN依赖结构 Table 程序依赖 扩展依赖 导览 Apache Flink 的 Table API 和 SQL，用于统一的流和批处理。Table API 是一个用于 Scala 和 Java 语言集成查询API，它允许以一种非常直观的方式组合来自关系算子(如选择、筛选和连接)的查询。Flink SQL 基于 Apache Calcite 实现 SQL 标准。无论输入是批输...
Table Api & SQL连续查询Join
01-20
在Flink中有几种方法可以使用Table API或SQL实际执行连接。 对于文章中的时间属性和时态表请参考笔者之前文章。 常规JOIN 常规联接是最通用的join类型，其中任何新记录或对join输入两侧的任何更改都是可见
flink-21 flink之table和SQL
a3125504x的博客
09-28 2058
flink之table和SQLtable与SQL的基本介绍为什么需要SQL开发环境构建TableEnvironmentTable API创建 Table从文件中创建 Table（静态表）从DataStream中创建 Table（动态表）** table与SQL的基本介绍 在Spark中有DataFrame这样的关系型编程接口，因其强大且灵活的表达能力，能够让用户通过非常丰富的接口对数据进行处理，有效降低了用户的使用成本。 Flink也提供了关系型编程接口 Table API 以及基于Table API 的
基于 Apache Flink 的实时监控告警系统
http://www.54tianzhisheng.cn/
04-16 7692
点击上方“zhisheng”，选择“设为星标”后台回复”666“获取公众号专属资料本文首发自本人的知识星球《Flink 精进学习》，文末点击阅读原文可以查看对应讲解的视频在如今微服务、云...
从 0 到 1 搭建一套 Flink 的监控系统
http://www.54tianzhisheng.cn/
06-18 5322
点击上方“zhisheng”，选择“设为星标”后台回复"666"，获取新资料之前讲解了 JobManager、TaskManager 和 Flink Job 的监控，以及...
如何统计网站各页面一天内的 PV 和 UV？
http://www.54tianzhisheng.cn/
09-22 4955
大数据开发最常统计的需求可能就是 PV、UV。PV 全拼 PageView，即页面访问量，用户每次对网站的访问均被记录，按照访问量进行累计，假如用户对同一页面访问了 5 次，那该页面的 PV 就应该加 5。UV 全拼为 UniqueVisitor，即独立访问用户数，访问该页面的一台电脑客户端为一个访客，假如用户对同一页面访问了 5 次，那么该页面的 UV 只应该加 1，因为 UV 计算的是去重后的...
Flink 1.12 Release 文档解读
http://www.54tianzhisheng.cn/
12-06 3215
注：本文翻译的时候还没正式 Release 1.12，处于 1.12.0-rc3 阶段Flink 从入门到精通系列文章本文的 Release 文档描述了在 Flink 1.11 和 F...
如何提高 Flink K8s 集群资源利用率？
http://www.54tianzhisheng.cn/
03-30 2774
问题在 Flink on K8s 默认提交作业的命令下，我们会指定作业的 JM/TM 的 CPU 和 Memory，最后作业生成的 pod 它的 CPU/Memory 的 request/limit 都是一样的资源，但是作业真实运行时使用的资源远达不到 limit 的值，这样就会造成机器资源浪费（水位不高，但是机器又不能再申请 pod）。比如下面命令：（指定了 TM 的资...
Flink CEP 介绍及其使用场景
http://www.54tianzhisheng.cn/
09-22 2447
CEP 是什么？ CEP 的英文全称是 Complex Event Processing，翻译成中文为复杂事件处理。它可以用于处理实时数据并在事件流到达时从事件流中提取信息，并根据定义的规则来判断事件是否匹配，如果匹配则会触发新的事件做出响应。除了支持单个事件的简单无状态的模式匹配（例如基于事件中的某个字段进行筛选过滤），也可以支持基于关联／聚合／时间窗口等多个事件的复杂有状态模式的匹配（例如判断...
Flink 1.11 日志文件该如何配置？
http://www.54tianzhisheng.cn/
08-04 1975
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Flink 1.11 之前在 Flink 1.11 之前，Flink 使用的日志...
Flink Table & SQL：流批统一的高效声明式API
"Flink Table API 和 SQL 的使用与发展历程" Flink Table API 和 SQL 是 Apache Flink 中用于处理数据的强大工具，尤其在大数据处理领域扮演着重要角色。这两个组件允许开发者以声明式的方式处理数据，使得数据处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值