95-910-330-源码-FlinkSQL-Calcite-Flink结合Calcite

最新推荐文章于 2024-05-07 14:49:40 发布
最新推荐文章于 2024-05-07 14:49:40 发布
阅读量163 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink big data sql
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120161637
版权
大数据-flink 专栏收录该内容
839 篇文章 853 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Apache Calcite的作用及其在Flink中的应用，详细阐述了Flink SQL和Table API任务从提交到执行的全过程，包括Calcite的解析、优化以及转化为Flink物理执行计划的步骤，展示了Flink如何利用Calcite实现SQL查询的优化和转换。
摘要由CSDN通过智能技术生成

1.世界

在这里插入图片描述

2.概述

Apache Calcite是什么东东？

​ Apache Calcite面向Hadoop新的sql引擎，它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力。除此之外，Calcite还提供了OLAP和流处理的查询引擎。它2013年成为了Apache孵化项目以来，在Hadoop中越来越引人注目，并被众多项目集成。比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和优化。

3.Flink 结合 Calcite

​ Flink Table API&SQL 为流式数据和静态数据的关系查询保留统一的接口，而且利用了Calcite的查询优化框架和SQL parser。该设计是基于Flink已构建好的API构建的，DataStream API 提供低延时高吞吐的流处理能力而且就有exactly-once语义而且可以基于event-time进行处理。而且DataSet拥有稳定高效的内存算子和流水线式的数据交换。Flink的core API和引擎的所有改进都会自动应用到Table API和SQL上。

一条stream sql从提交到calcite解析、优化最后到flink引

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Calcite】Calcite 的SQL解析
九师兄
11-29 1071
依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.calcite/calcite-core --> <dependency> <groupId>org.apache.calcite&a
Flink table&Sql中使用Calcite
weixin_30867015的博客
12-19 279
Apache Calcite是什么东东 Apache Calcite面向Hadoop新的sql引擎，它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力。除此之外，Calcite还提供了OLAP和流处理的查询引擎。它2013年成为了Apache孵化项目以来，在Hadoop中越来越引人注目，并被众多项目集成。比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和...
Calcite Sql解析
METON的博客
01-20 2721
Calcite自定义SQL解析(经常使用的方法和配置)(mvn版本：1.21.0) 1、config.fmpp(calcite模板配置) data: { parser: { # Generated parser implementation package and class name. # 生成解析器实现类包和名称 包名 实体类名 package: "com.meton.flink.sql.parser", class: "MetonSqlParserIm
Calcite中的流式SQL
12-15
Calcite中的流式SQL总体设计思路 　　总体语法应该兼容SQL，这个是和目前流处理SQL的发展趋势是一致的。 　　如果部分功能标准SQL中没有包含，则尽量采用 业界标杆（Oracle） 。比如模式匹配的功能，目前流处理中还没有针对语法达成共识，那么在设计上，采用Oracle data warehouse的Match Recognize的方式。还有滑窗功能。 　　如果还有功能目前业界标杆都没有，那么通过函数的方式拓展，翻滚窗口和跳动窗口，这两个窗口在标准SQL中都是不包含的，所以采用了Ceil，Tumble，Hop等函数的方式来实现功能。 　　总体思路是 在兼容标准SQL的基础上做
95-910-335-源码-FlinkSQL-Calcite-FlinkSQL解析
九师兄
10-12 224
1.美图 2.config.mpp # # Calcite's parser grammar file (Parser.jj) is written in javacc # (https://javacc.org/) with Freemarker (http://freemarker.org/) variables # to allow clients to: # 1. have custom parser implementation class and package name. # 2.
95-910-332-源码-FlinkSQL-Calcite-Flink SQL 整体执行框架
九师兄
10-12 122
1.美图 2.概述 ​ 在数据处理领域，无论是实时数据处理还是离线数据处理，使用 SQL 简化开发将会是未来的整体发展趋势。尽管 SQL 简化了使用的门槛，但是如何将 SQL 等价转换到现有的数据处理引擎中却并非易事，尤其是在流式数据处理框架中。 ​ 最近，Flink 发布了备受瞩目的 1.9 版本，由于阿里开源了其内部的 Blink 分支，Flink SQL 的功能得到了进一步的改进和增强。尽管在这个版本中，Blink 仍然只是作为一个预览的版本发布，但是 Blink 后续将会成为 Flink 社区的主
95-910-150-源码-FlinkSQL-Flink SQL 的元数据管理
九师兄
10-11 388
1.美图 2.概述 为了使用 SQL，一个首先需要解决的是元数据管理的问题。元数据的管理包括表的元数据和 UDF 的元数据，这使得完全使用 SQL 语句来构建实时任务成为可能。 3.Catalog 和 CatalogManager ​ 在 1.9 版本发布之前，Flink SQL 完全借助于 Calcite 的 Schema 接口来管理注册的表，并且提供了 ExternalCatalog 接口，通过 TableDescriptor 定义外部系统数据的来源，从而访问到外部系统的数据。但是 ExternalC
95-910-170-源码-FlinkSQL-Flink SQL 中的流和动态表
九师兄
10-11 157
1.美图 2.概述 ​ SQL 和关系代数在设计之初就针对的是静态的数据。静态数据是有界的，因此可以很容易地和表（关系）进行映射。但是对于一个不断变化的实时数据流而言，数据是无边界不断更新的，在将 SQL 应用在流上的时候，势必需要考虑数据的更新问题。例如，对与聚合操作而言，随着新数据源源不断地到达，聚合的结果必然是需要不断更新的。在这种情况下，目前包括 Flink、Calcite、Beam、 Kafka 等社区的开发人员一起在推动 Streaming SQL 的标准化，流和动态表的是这些工作的基础。 3
Apache Calcite教程-SQL解析-Calcite SQL解析
热门推荐
Chain的博客
11-20 1万+
Calcite SQL解析其中,在codegen文件夹下, config.fmpp (主要制定实现类路径)表示calcite 模板配置,Parser.jj是JavaCC解析器所需解析文件(比如增加函数时的主要修改文件),parserImpls.ftl/compoundIdentifier.ftl 附加模版文件. (都注释掉了, 暂时没有使用过) ......
使用Calcite做Sql语法解析
u011250186的博客
06-19 2003
Flink SQL中使用Calcite作为sql语法解析、校验、优化工具，本篇是实操篇，介绍一下calcite做sql语法解析使用方式。 sql经过calcite解析之后，得到一棵抽象语法树，也就是我们说的AST，这棵语法树是由不同的节点组成，节点称之为SqlNode，根据不同类型的dml、ddl得到不同的类型的SqlNode，例如select语句转换为SqlSelect，delete语句转换为SqlDelete，join语句转换为SqlJoin。 使用方式： SqlParser.Config ...
Calcite SQL 解析、语法扩展、元数据验证原理与实战（下）
Aloudata_team的博客
02-10 841
本篇我们将进入 SQL 执行的下一个阶段：元数据验证。
Calcite SQL 解析、语法扩展、元数据验证原理与实战（上）
Aloudata_team的博客
01-18 2105
SQL 解析和 SQL 验证
Apache Calcite教程-SQL解析-Calcite自定义语法解析
u011250186的博客
06-19 2907
版权 Calcite自定义SQL解析 常用方法和配置 config.fmpp 配置和Parser.jj文件结合说明 package,class,imports keywords nonReservedKeywords joinTypes statementParserMethods literalParserMethods dataTypeParserMethods alterStatementParserMethods createStatementParserMethods dropStatement.
sql 血缘解析 calcite
码基的博客
07-13 3086
package pers.machi; import com.google.common.base.Joiner; import org.apache.calcite.avatica.util.Casing; import org.apache.calcite.config.Lex; import org.apache.calcite.sql.*; import org.apache.calcite.sql.parser.SqlParseException; import org.apache.calci
【calcite】calcite实现SQL列级数据血缘 data lineage 查询
最新发布
lisacumt的专栏
05-07 954
calcite实现SQL列级数据血缘查询
calcite查询mysql_利用calcite查找sql语句中的原始列
weixin_42300317的博客
02-03 800
曾经遇到这么个需求，大致描述一下就是需要改写原始的sql语句，为其中的某些字段加上udf函数。比如说：select name from emps where id = 1;正常执行结果为：xiaowangname属于敏感信息，需要进行脱敏处理，并将其配置了脱敏策略，比如脱敏策略是：hash_func(col,1,5,*)，将前五位设置为*号。那么执行这条sql语句查询结果为*****ang。如果是...
【Calcite】SQL 形式化语言——关系代数
九师兄
02-15 307
集合交运算表示出在A和B两个关系中都存在的元组的新关系。在User关系中找出所有年龄大于18的姓名，在Home关系中找出所有家在NewYork的人的姓名，得到User中存在而Home中不存在的人的姓名的关系。在User关系中找出所有年龄大于18的姓名，在Home关系中找出所有家在NewYork的人的姓名，将这两个关系中都存在的姓名取出作为新的关系。在User关系中找出所有年龄大于18的姓名，在Home关系中找出所有家在NewYork的人的姓名，将这两个关系中都存在的姓名取出作为新的关系。
"深入理解大数据之flink教程-TableAPI和SQL学习指南
The Apache Calcite, an open-source SQL parsing tool, is used as the basis for Flink's SQL support. Overall, Table API and Flink SQL provide a user-friendly and efficient way to perform queries and ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值