95-910-332-源码-FlinkSQL-Calcite-Flink SQL 整体执行框架

最新推荐文章于 2024-10-11 22:52:08 发布
最新推荐文章于 2024-10-11 22:52:08 发布
阅读量139 收藏
点赞数
分类专栏： 大数据-flink 文章标签： sql flink 数据库
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120161695
版权
大数据-flink 专栏收录该内容
854 篇文章 856 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了Flink SQL在1.9版本中的执行框架，特别是Blink Runner的解析、转换及优化流程。通过Calcite解析SQL生成抽象语法树，结合元数据验证，再转化为Flink的内部计算逻辑。Blink Runner引入了更底层的算子，支持SQL与Table API的混合使用，并优化了DAG处理，统一了Stream和Batch的执行环境。
摘要由CSDN通过智能技术生成

文章目录

1.美图

在这里插入图片描述

2.概述

​ 在数据处理领域，无论是实时数据处理还是离线数据处理，使用 SQL 简化开发将会是未来的整体发展趋势。尽管 SQL 简化了使用的门槛，但是如何将 SQL 等价转换到现有的数据处理引擎中却并非易事，尤其是在流式数据处理框架中。

​ 最近，Flink 发布了备受瞩目的 1.9 版本，由于阿里开源了其内部的 Blink 分支，Flink SQL 的功能得到了进一步的改进和增强。尽管在这个版本中，Blink 仍然只是作为一个预览的版本发布，但是 Blink 后续将会成为 Flink 社区的主要开发方向。接下来，我们将主要基于 Blink 来介绍 Flink SQL 的整体执行流程。

3.背景知识

SQL 的执行流程一般分为四个主要的阶段，Flink 主要依赖于 Calicte 来完成这一流程：

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
95-910-335-源码-FlinkSQL-Calcite-FlinkSQL解析
九师兄
10-12 245
1.美图 2.config.mpp # # Calcite's parser grammar file (Parser.jj) is written in javacc # (https://javacc.org/) with Freemarker (http://freemarker.org/) variables # to allow clients to: # 1. have custom parser implementation class and package name. # 2.
calcite-avatica-go：Apache Calcite的镜像-Avatica Go SQL驱动程序
01-28
$ go get github.com/apache/calcite-avatica-goPhoenix / Avatica驱动程序实现了Go的database/sql/driver接口，因此，导入database/sql包和驱动程序： import "database/sql"import _ "github.com/apache/calcite-...
calcite-linq4j-1.2.0-incubating.jar
04-01
calcite-linq4j-1.2.0-incubating.jar
大数据之flink教程-TableAPI和SQL.pdf
07-27
Flink SQL则是直接在代码中使用SQL语句进行查询，它基于SQL标准的Apache Calcite解析器。无论是批处理还是流处理，Table API和SQL都能确保查询的语义一致，结果相同。 **1.2 引入依赖** 为了使用Table API和SQL，...
calcite-components-svelte-example
04-23
寻找可共享的组件模板？ 去这里-> 苗条的应用程序 这是应用程序的项目模板。 它位于 。 要使用基于此模板创建一个新项目： npx degit sveltejs/template svelte-app cd svelte-app 请注意，您将需要安装 ...
calcite-react:方解石组件，内置于React
04-28
安装npm i calcite-react用法主题提供者Calcite React组件依靠通过访问我们的主题。 必须将所有Calcite React组件包装在此提供程序组件中，以便正确呈现。 在大多数情况下，建议将整个应用程序包装在最高级别。 ...
【SQL学习笔记】
weixin_45653183的博客
10-08 1381
若别名中存在空格，需要使用引号如：AS姓名, FROM XXX;SELECT name 姓名, FROM XXX;SELECT name AS '姓 名', FROM XXX;使用DISTINCT关键字删除重行如：SELECTDISTINCT不能使用DISTINCT多列排除重复如：SELECTDISTINCT以上语句表名name,idcard组合无重复，不能保证单列无重复创建成功后，若使用Navicat工具，函数一栏中会出现存储过程名。
毕业设计_基于springboot+layui+mybatisPlus的中小型仓库物流管理系统源码+SQL+教程+可运行】41004
pingguocu3的博客
10-04 1002
毕业设计--课程设计--springboot--java 登录管理员账号：system 密码：123456 验证码输入：注意验证码字母要大写。启动项目后运行http://locahost:8080跳转到登录界面即可。后端：springboot、mybatis-plus、shiro。application.yml文件中的数据库连接信息。运行sql目录下的warehouse.sql文件。1.基础管理：商品管理、客户管理、供应商管理；2.物流管理：进货管理、发货管理、交付管理...
PostgreSQL 创建账号与数据库：从连接到权限配置的完整指南
敲代码别忘了喝上一杯凉白开。
10-04 821
本文详细讲解了如何在 PostgreSQL 数据库中创建账号和数据库，并为该账号配置相关权限的完整过程。通过使用 psql 连接数据库，创建用户和数据库，以及授予数据库访问权限，用户可以轻松完成 PostgreSQL 的账号和数据库管理。文章还介绍了如何使用新账号登录数据库并运行 SQL 文件进行数据操作，提供了从连接、创建、授权到执行 SQL 的一站式操作指南，适用于数据库初学者和管理员。
PostgreSQL：json数据处理
最新发布
m0_72560900的博客
10-11 336
在 PostgreSQL 中，处理 JSON 数据的功能非常强大，尤其是针对嵌套的 JSON 结构和 JSON 数组的查询。以下是一些处理 JSON 数据的常见操作和具体的案例，主要展示如何从 JSON 和 JSON 数组中获取指定 key 的值。
PostgreSQL的WAL日志优化及验证
Java_fenxiang的博客
10-05 898
在应用负载不变的情况下可以通过如下方法进行WAL优化登录后复制 1) 延长checkpoint时间间隔 FPI产生于checkpoint之后第一次变脏的page，在下次checkpoint到来之前，已经输出过FPI的page是不在需要再次输出FPI。因此checkpoint时间间隔越长，FPI产生的频度会越低。增大ch...
如何在 SQL 中插入一条新记录 ？
程序员学习园地。
10-06 392
在日常的软件开发过程中，我们经常需要与数据库进行交互，其中一项常见的操作就是向数据库表中插入新的数据。SQL 语言提供了语句来实现这个功能。下面我会以通俗易懂的方式介绍如何使用这条命令，并提供一些实际开发中的建议和注意事项。
Spring Data JPA
m0_73837751的博客
10-06 768
这个接口的定义是在数据持久层（DAO 层，Repository 层），主要用于自定义一些查询方法（这是这个接口最主要的作用）。接口内部可以通过命名规则定义自定义查询方法，以便在业务逻辑层调用。（1.3中的方法命名规则）。在 Spring Data JPA 中，你可以通过继承 CrudRepository或 JpaRepository接口来定义Repository，用于处理特定实体的 CRUD 操作。Spring 会自动生成这些接口中的方法实现。：这是最基本的接口，提供基本的增删改查操作，如save()
Pikachu-Sql-Inject -基于boolian的盲注
guanrongl的专栏
10-03 831
布尔型盲注入用到得SQL 语句select if(1=1,1,0) if()函数在mysql 是判断，第一个参数表达式，如果条件成立，会显示1，否则显示0。从前面已经知道有个用户 为 vince ，如果长度判断正确，回返回vince 这个用户，错误则显示不存在；if(a,b,c) :a为条件，a为true，返回b，否则返回c，如if(1>2,1,0),返回0。2、不管是正确的输入，还是错误的输入，都只显示两种情况，true or false；第一个 1 ，代表查第一张表，第二个1，1 代表查第一个字母；
SQLite SQL调优指南及高级SQL技巧
10-08 1367
本指南详细探讨了 SQLite 数据库在 SQL 优化和高级查询中的技术和技巧，包括索引使用、查询优化、表结构设计、事务优化等方面内容。这些技术不仅能提升数据库性能，还能为开发者提供清晰的优化思路，帮助构建高效稳定的数据库系统。
一文介绍SQL标准1986~2023的演变
云原生智能数据管理平台
10-11 638
SQL标准1986年制定第一版，到最新的2023版，已经有38年的历史，现在依然是计算机非常活跃的语言，50%的程序员都能掌握SQL，数据分析师也是SQL的主要使用人员之一。从早期的基本语法，到融合了XML、JSON等复杂数据类型，存储过程标准，元数据标准等等等，SQL语言规范发生巨大的变化，。
SQL优化 where谓词条件is null优化
kiwixing的博客
10-06 409
OBJECT_NAME字段索引范围范围，回表过滤SUBOBJECT_NAME is null，逻辑读7。注意，null字段在索引第一列，也能使用到索引，但需要索引扫描后走filter，null不参与排序。3.创建复合索引，包含SUBOBJECT_NAME is null条件字段。1.创建测试表及谓词条件中包含is null模拟语句。索引范围扫描，无需回表过滤，逻辑读4。3.创建等值谓词条件的单列索引。2.全表扫描逻辑读1237。
SQL Server 2022 RTM Cumulative Update #15 发布下载
sysin | SYStem INside
10-09 1801
SQL Server 2022 RTM Cumulative Update #15 发布下载
【SQL】MySQL数据表命令
Frost_Descent的博客
10-11 184
这个命令通常在数据库管理系统（DBMS）的命令行界面（CLI）或者通过一些数据库管理工具（如 MySQL Workbench、phpMyAdmin 等）中使用。命令时，它会显示指定表的列名、数据类型、是否允许 NULL 值、键信息、默认值以及其他额外信息（这些信息可能会根据数据库系统的不同而有所差异）。表，这个命令会展示创建这个表时所使用的完整 SQL 语句，包括表的定义、列的数据类型、索引、约束等信息。语句用于显示创建指定表的 SQL 语句。的缩写，用于获取关于数据库表中列的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值