flink SQL浅析

最新推荐文章于 2024-12-07 22:08:43 发布
最新推荐文章于 2024-12-07 22:08:43 发布
阅读量690 收藏
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/109587796
版权
本文探讨了Flink的table/SQL架构从Flink 1.9之前的批流分离到批流一体的演进过程，重点介绍了Flink SQL的工作机制，包括SQL文本转化为逻辑执行计划、优化器生成物理执行计划以及CodeGen技术编译为JobGraph的步骤。此外，还提到了优化策略如常量折叠、谓词下推和列剪裁。
摘要由CSDN通过智能技术生成

flink SQL解析

Flink table/SQL架构演变

  • Flink1.9之前，批处理和流处理有以下几点不同
    • 各自独立的API（流处理DataStream，批处理DataSet）
    • 各自不同的执行计划解析过程
    • 各自不同的错的跟过程

因此，没有批流一体的概念，面向用户不友好。如下图所示：
在这里插入图片描述

  • Flink1.9引入了blink planner将批SQL处理作为流SQL处理的特例。
    在这里插入图片描述
  • Flink Planner用来兼容老版本
    • 批处理基于DataSet
    • 流处理基于DataStream
  • Flink用来处理新的代码和特性
    • 批处理和流出刘都解析为Stream Transformation统一实现，真正的实现批流一体

flink SQL的工作机制

Flink SQL 引擎的工作流总结如图所示。

最低0.47元/天 解锁文章
Flink SQL窗口表值函数聚合实现原理
VqhhMobile的博客
09-27 216
在Flink SQL中，窗口表值函数聚合是一种常见的操作，它通过对数据流中的窗口进行聚合计算，并返回一个表作为结果。综上所述，Flink SQL窗口表值函数聚合实现原理涉及窗口定义、数据分配和窗口聚合等步骤。通过合理定义窗口和选择合适的聚合函数，可以实现对数据流的灵活处理和分析。窗口定义：首先需要定义窗口，指定窗口的类型（例如滚动窗口、滑动窗口、会话窗口等）、窗口的大小和滑动步长等参数。需要注意的是，以上示例只是一个简单的演示，实际使用中可能涉及更复杂的窗口定义和聚合操作。，它接受两个参数：窗口和值。
【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 从脚本到主类
九师兄
08-06 992
1.概述 转载：Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一] 可以去看原文。这里是补充专栏。 2. 前言 主要针对yarn-per-job模式进行代码分析. 看看都干了啥… 二 .启动程序入口 2.1. 启动数据服务端 先打开数据的服务端 nc -lk 9999 2.2. 提交Flink 任务. 打开flink消费服务端9999里面的数据. 执行命令 : cd ${FLINK_HOME} flink run -t yarn-per-job -c org.apache
Flink SQL
awonima的博客
03-11 419
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
flinksql 解析学习
qq_41090363的博客
01-23 3017
Flink sql 之sql 解析篇： 1.主要是为了实现 利用flink 原生引擎去解析sql 生成语法树，打印日志信息便于去维护。 2.flink解析之Calcite和sql 解析过程 sql 解析阶段：calcite parser 解析（sql -> AST，AST 即 SqlNode Tree） SqlNode 验证阶段：calcite validator 校验（SqlNode -> SqlNode，语法、表达式、表信息） 语义分析阶段：SqlNode 转换为 RelNode，RelNo
Flink学习连载文章12--FlinkSQL
最新发布
二进制专栏
12-07 698
因为DataStream中是Row 类型，所以打印的格式是Row 这个类中的toString方法决定的。这个地方的 +I 的意思是新增的数据。toAppendStream: 适用于生成新的计算结果，并不会对老的计算结果进行修改。从Kafka的topic1中消费数据并过滤出状态为success的数据再写入到Kafka的topic2。从Kafka的topic1中消费数据并过滤出状态为success的数据再写入到MySQL。以下内容是FlinkSQL的全新的方式，更加简单高效。Table风格/DSL风格。
Flink Forward Asia 2020：Flink SQL的功能扩展与深度优化
foureyes
01-11 689
文章目录1. 背景及现状1.1 三种模式的分析1.2 腾讯目前的工作2. 窗口功能扩展2.1 新的窗口操作2.1.1 先Join再开窗2.1.2 Interval Join2.1.3 Windowing Table-Valued Function2.1.4 实现细节2.1.4.1 窗口的传播2.1.4.2 时间属性字段2.1.4.3 时间水印2.1.4.4 使用约束2.2 新的窗口类型2.2.1 Incremental Window2.2.1.1 多次触发2.2.1.2 Lazy Trigger2.2.2
Flink源算子、转换算子和输出算子（DataSet）
roi666的博客
01-23 1554
但是，压缩文件可能不会并行读取，可能是顺序读取的，这样可能会影响作业的可伸缩性。Flink是一种一站式处理的框架，既可以进行批处理（DataSet），也可以进行流处理（DataStream）rightOuterJoin：右外连接,左边的Dataset中的每一个元素，去连接左边的元素。交叉操作，通过形成这个数据集和其他数据集的笛卡尔积，创建一个新的数据集。对一个文件目录内的所有文件，包括所有子目录中的所有文件的遍历访问方式。左外连接,左边的Dataset中的每一个元素，去连接右边的元素。
flink将bathch dataset 转换为sql操作
congtuo7221的博客
03-11 399
packageflink.table_sql /*需要maven依赖 *<dependency> <groupId>org.apache.flink</groupId>...
Flink watermark浅析
架构师思考实践
02-22 271
一、功能 问题：Flink实时计算使用窗口时，消息会乱序，使用Event Time计算时，会有消息晚到。 解决方案：假设我们把延迟超过5秒的消息丢掉（或特殊处理），那么在每条消息上打一个时间戳（watermark 水位线），这个时间是事件时间减去5s，表示的含义是这个水位线之前的数据都到了，告诉窗口可以出发计算了。 补充时间概念： （1）事件时间：业务系统的业务发生或更新时间。 （2）抽取时间：进入到消息队列的时间。 （3）处理时间：实时计算的时间。 二、原理 1、watermark本.
Flink Watermark机制
chanyue123的博客
06-23 2046
flink watermark详解
SQL谓词下推存在的“陷阱“
weixin_47894524的博客
06-10 436
谓词下推：在SQL执行优化策略时，会将where相关的过滤条件放在前面来执行，如果此时涉及和另一张表的join操作，那么就可能会踩坑 场景：1、A joinB 2、将join后的A的数据执行UDF 3、UDF处理后的数据过滤 谓词下推后的执行顺序： 1、A中某字段执行UDF 2、对UDF处理后的数据进行过滤 3、过滤后的A与B再进行join 问题点：谓词下推的原则是：先过滤再join，但是UDF逻辑较重，效率上：(join后少量数据执行UDF的时间)<(先全量执行UDF再过滤的时间)，所以自动.
Flink1.17之前实现JdbcLookup谓词下推
shirukai
05-16 687
Flink在1.17版本之前，flink-connector-jdbc的LookupJoin是不支持on条件下推的，例如on device_id=‘1’，查询SQL中是不会包含device_id='1’的条件，相关issue：https://issues.apache.org/jira/browse/FLINK-32321，在1.19版本该问题已经解决。谓词不下推会导致每次查询的数据量变多，本篇文章主要介绍如何在1.17支持谓词下推。
flink sql 源码走读 --- 解释flink jdbc where 条件为什么没有下推数据库
samur2的博客
03-07 2964
本文通过一个具体案例，说明 flink sql 如何实现 connector 加载、source/sink 端操作、数据库连接等。可以帮助大家了解其原理，并在代码中找到落库执行SQL生成逻辑，得到where条件并没有下推到库执行的结论。
flink开发案例_Flink深入浅出：Flink SQL使用与原理
weixin_39603132的博客
11-30 507
​导读Flink Table & SQL API是在DataStream和DataSet之上封装的一层高级API。由于DataStream和DataSet有各自的API，开发起来又有些困难，如果只是应对一些相对通用的需求会有点麻烦。而Flink Table & SQL API，通过关系型的API简化了内部的复杂实现。通过SQL开发人员可以只关注业务逻辑，学习成本低，容易理解，而且内...
flink sql （jdbc）如何支持where 条件下推数据库
samur2的博客
03-08 3523
为了支持flink sql (jdbc)过滤条件下推，这里提供一些解决方案。最近在使用 flink sql （jdbc）做离线数据同步（历史数据修复），只同步几条数据的情况下，测试环境执行竟然需要30+分钟。进一步研究，发现where条件没有下推到数据库执行，而是全表读取。本文提供了2种解决办法。
Flink 的SQL API和DataSet API对比
AI天才研究院
12-26 179
Flink是一个流处理框架，它可以处理大规模的实时数据流。Flink提供了两种API，一种是DataSet API，另一种是SQL API。DataSet API是一种基于编程的API，它允许用户使用Java或Scala编写数据处理程序。SQL API是一种基于查询的API，它允许用户使用SQL语句来查询和处理数据。在本文中，我们将讨论Flink的DataSet API和SQL API之间的区别。我们将讨论它们的核心概念，它们之间的联系，以及它们的算法原理和具体操作步骤。
快速入门Flink SQL——Table与DataStream互转
大数据记录
12-17 7819
前言          上述讲到，成功将一个文件里的内容使用SQL进行了一解析（快速入门Flink SQL —— 介绍及入门）本篇文章主要会跟大家分享如何连接kafka，MySQL，作为输入流和数出的操作。 一、将kafka作为输入流          kafka 的连接器 flink-kafka-connector 中，1.10 版本的已经提供了
Flink Stream,Flink SQL,Flink CEP三板斧优先级
cts618
09-16 791
Flink Stream,Flink SQL,Flink CEP三板斧优先级
关于谓词下推的概念
weixin_30505751的博客
09-19 503
转载于:https://www.cnblogs.com/haojb/p/11549807.html
Flink SQL客户端依赖包整合指南
资源摘要信息:"flink-sql-client.zip" Apache Flink 是一个开源流处理框架，用于处理有状态的计算，它能够在无界和有界数据流上进行高性能、高吞吐量的数据分析。Flink 提供了丰富的API，包括用于数据处理的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值