【大数据】Flink 详解（八）：SQL 篇 Ⅰ（Flink SQL）

已于 2024-01-22 22:53:06 修改
阅读量1.5k 收藏 20
点赞数 26
分类专栏： # Flink 面试指南 文章标签： 大数据 flink sql 数据流 流批一体 实时同步 流处理
于 2024-01-13 13:34:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/be_racle/article/details/135568576
版权

《Flink 详解》系列（已完结），共包含以下 10 10 10 篇文章：

😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧 （点赞 🧡、关注 💛、收藏 💚）！！！您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容！！！

Flink 详解（八）：SQL 篇 Ⅰ

82.Flink SQL 有没有使用过？

在 Flink 中，一共有四种级别的抽象，而 Flink SQL 作为最上层，是 Flink API 的一等公民。

在这里插入图片描述
在标准 SQL 中，SQL 语句包含四种类型

  • 数据操作语言（DML，Data Manipulation Language）：用来定义数据库记录（数据）。
  • 数据控制语言（DCL，Data Control Language）：用来定义访问权限和安全级别。
  • 数据查询语言（DQL，Data Query Language）：用来查询记录（数据）。
  • 数据定义语言（DDL，Data Definition Language）：用来定义数据库对象（库，表，列等）。

Flink SQL 包含 DML 数据操作语言、 DDL 数据定义语言， DQL 数据查询语言，不包含 DCL 语言。

🚀 可以参考我的这篇博客：【数据库】DDL、DML、DCL简介

83.Flink 被称作流批一体，那从哪个版本开始，真正实现流批一体的？

从 1.9.0 版本开始，引入了阿里巴巴的 Blink ，对 FIink TabIe & SQL 模块做了重大的重构，保留了 Flink Planner 的同时，引入了 Blink PIanner，没引入以前，Flink 没考虑流批作业统一，针对流批作业，底层实现两套代码，引入后，基于流批一体理念，重新设计算子，以流为核心，流作业和批作业最终都会被转为 transformation。

84.Flink SQL 使用哪种解析器？

Flink SQL 使用 Apache Calcite 作为解析器和优化器。

Calcite 一种动态数据管理框架，它具备很多典型数据库管理系统的功能 如 SQL 解析、 SQL 校验、 SQL 查询优化、 SQL 生成 以及 数据连接查询 等，但是又省略了一些关键的功能，如 Calcite 并不存储相关的元数据和基本数据，不完全包含相关处理数据的算法等。

85.Calcite 主要功能包含哪些？

Calcite 主要包含以下五个部分：

  • SQL 解析（Parser）
    • Calcite SQL 解析是通过 JavaCC 实现的，使用 JavaCC 编写 SQL 语法描述文件，将 SQL 解析成未经校验的 AST 语法树。
  • SQL 校验（Validato）
    • 无状态的校验：即验证 SQL 语句是否符合规范。
    • 有状态的校验：即通过与元数据结合验证 SQL 中的 Schema、Field、 Function 是否存在，输入输出类型是否匹配等。
  • SQL 查询优化
    • 对上个步骤的输出（RelNode，逻辑计划树）进行优化，得到优化后的物理执行计划。优化有两种：基于规则的优化 和 基于代价的优化，后面会详细介绍。
  • SQL 生成
    • 将物理执行计划生成为在特定平台 / 引擎的可执行程序，如生成符合 MySQL 或 Oracle 等不同平台规则的 SQL 查询语句等。
  • 数据连接与执行
    • 通过各个执行平台执行查询，得到输出结果。 在 Flink 或者其他使用 Calcite 的大数据引擎中，一般到 SQL 查询优化即结束，由各个平台结合 Calcite SQL 代码生成和平台实现的代码生成，将优化后的物理执行计划组合成可执行的代码，然后在内存中编译执行。

86.Flink SQL 处理流程说一下？

下面举个例子，详细描述一下 Flink SQL 的处理流程，如下所示：

SET table.sql-dialect=default;
CREATE TABLE log_kafka (
	user_id STRING,|
	order_amount DOUBLE,
	log_ts TIMESTAMP(3),
	WATERMARK FOR log_ts AS log_ts - INTERVAL '5' SECOND
) WITH (
	'connector'='kafka',
	'property-version' = 'universal',
	'topic' = 'test',
	'properties.bootstrap.servers'= 'hlink163:9092',
	'scan.startup.mode' = 'earliest-offset',
	'format' = 'json',
	'json.fail-on-missing-field' = 'false',
	'json.ignore-parse-errors' = 'true',
	'properties.group.id' = 'flink1'
);

我们写一张 Source 表，来源为 Kafka，当执行 create table log_kafka 之后 Flink SQL 将做如下操作：

在这里插入图片描述

  • 首先，Flink SQL 底层使用的是 Apache Calcite 引擎来处理 SQL 语句，Calcite 会使用 JavaCC 做 SQL 解析，JavaCC 根据 Calcite 中定义的 Parser.jj 文件，生成一系列的 Java 代码，生成的 Java 代码会 把 SQL 转换成 AST 抽象语法树（即 SqlNode 类型）。
  • 生成的 SqlNode 抽象语法树，它是一个未经验证的抽象语法树，这时，SQL Validator 会获取 Flink Catalog 中的元数据信息来验证 SQL 语法，元数据信息检查包括表名，字段名，函数名，数据类型等检查。然后生成一个校验后的 SqlNode。
  • 到达这步后，只是将 SQL 解析到 Java 数据结构的固定节点上，并没有给出相关节点之间的关联关系以及每个节点的类型信息。所以，还 需要将 SqlNode 转换为逻辑计划，也就是 LogicalPlan，在转换过程中，会使用 SqlToOperationConverter 类，来将 SqlNode 转换为 Operation，Operation 会根据 SQL 语法来执行创建表或者删除表等操作，同时 FlinkPlannerImpl.rel() 方法会将 SqlNode 转换成 RelNode 树，并返回 RelRoot。
  • 第 4 步将执行 Optimize 操作，按照预定义的优化规则 RelOptRule 优化逻辑计划。Calcite 中的优化器 RelOptPlanner 有两种，一是基于规则优化（RBO）的 HepPlanner，二是基于代价优化（CBO）的 VolcanoPlanner。然后得到优化后的 RelNode, 再基于 Flink 里面的 rules 将优化后的逻辑计划转换成物理计划。
  • 第 5 步，执行 Execute 操作，会通过代码生成 transformation，然后递归遍历各节点，将 DataStreamRelNode 转换成 DataStream，在这期间，会依次递归调用 DataStreamUnion、DataStreamCalc、DataStreamScan 类中重写的 translateToPlan 方法。递归调用各节点的 translateToPlan，实际是利用 CodeGen 元编成 Flink 的各种算子，相当于直接利用 Flink 的 DataSet 或者 DataStream 开发程序。
  • 最后进一步编译成可执行的 JobGraph 提交运行。

87.Flink SQL 包含哪些优化规则？

下图为执行流程图：
在这里插入图片描述
总结就是：

  • 先解析，然后验证，将 SqlNode 转化为 Operation 来创建表，然后调用 rel 方法将 SqlNode 变成逻辑计划（RelNodeTree），紧接着对逻辑计划进行优化。
  • 优化之前，会根据 Calcite 中的优化器中的基于规则优化的 HepPlanner 针对四种规则进行预处理，处理完之后得到 Logic RelNode，紧接着使用代价优化的 VolcanoPlanner 使用 Logical_Opt_Rules（逻辑计划优化）找到最优的执行 Planner，并转换为 Flink Logical RelNode。
  • 最后运用 Flink 包含的优化规则，如 DataStream_Opt_Rules（流式计算优化）、DataStream_Deco_Rules（装饰流式计算优化），将优化后的逻辑计划转换为物理计划。

优化规则包含如下：

  • 子查询优化：Table_subquery_rules
  • 扩展计划优化：Expand_plan_rules
  • 扩展计划优化：Post_expand_clean_up_rules
  • 正常化流处理：Datastream_norm_rules
  • 逻辑计划优化：Logical_Opt_Rules
  • 流式计算优化：DataStream_Opt_Rules
  • 装饰流式计算优化：DataStream_Deco_Rules

88.Flink SQL 中涉及到哪些 Operation？

先介绍一下什么是 Operation：在 Flink SQL 中，涉及的 DDL，DML，DQL 操作都是 Operation，在 Flink 内部表示，Operation 可以和 SqlNode 对应起来。

Operation 执行在优化前，执行的函数为 executeQperation，如下图所示，为执行的所有 Operation。

在这里插入图片描述

89.Flink Hive 有没有使用过？

Flink 社区在 Flink 1.11 版本进行了重大改变，如下图所示：
在这里插入图片描述

90.Flink 与 Hive 集成时都做了哪些操作？

如下所示为 Flink 与 Hive 进行连接时的执行图：
在这里插入图片描述

  • Flink 1.1 新引入了 Hive 方言，所以在 Flink SQL 中可以编写 Hive 语法，即 Hive Dialect。
  • 编写 Hive SQL 后，FlinkSQL Planner 会将 SQL 进行解析，验证，转换成逻辑计划，物理计划，最终变成 Jobgraph。
  • HiveCatalog 作为 Flink 和 Hive 的表元素持久化介质，会将不同会话的 Flink 元数据存储到 Hive Metastore 中。用户利用 HiveCatalog 可以将 Hive 表或者 Kafka 表存储到 Hive Metastore 中。

BlinkPlanner 是在 Flink 1.9 版本新引入的机制，Blink 的查询处理器则实现流批作业接口的统一，底层的 API 都是 Transformation。真正实现流 & 批的统一处理，替代原 FlinkPlanner 将流 & 批区分处理的方式。在 1.11 版本后已经默认为 Blink Planner。

91.HiveCatalog 类包含哪些方法？

重点方法如下：
在这里插入图片描述
HiveCatalog 主要是持久化元数据，所以一般的创建类型都包含，如 database、Table、View、Function、Partition，还有 is_Generic 字段判断等。

92.Flink SQL 1.11 新增了实时数仓功能，介绍一下？

Flink 1.11 版本新增的一大功能是实时数仓，可以实时的将 Kafka 中的数据插入 Hive 中，传统的实时数仓基于 Kafka + Flink Streaming，定义全流程的流计算作业，有着秒级甚至毫秒的实时性，但实时数仓的一个问题是历史数据只有 3 − 15 3-15 3−15 天，无法在其上做 Ad-hoc 的查询。

针对这个特点，Flink 1.11 版本将 FlieSystemStreaming Sink 重新修改，增加了分区提交和滚动策略机制，让 HiveStreaming Sink 重新使用文件系统流接收器。

Flink 1.11 的 Table / SQL API 中，FileSystemConnector 是靠增强版 StreamingFileSink 组件实现，在源码中名为 StreamingFileWriter。

只有在 Checkpoint 成功时，StreamingFileSink 写入的文件才会由 Pending 状态变成 Finished 状态，从而能够安全地被下游读取。所以，我们一定要打开 Checkpointing，并设定合理的间隔。

93.Flink - Hive 实时写数据介绍下？

StreamingWrite，从 Kafka 中实时拿到数据，使用分区提交将数据从 Kafka 写入 Hive 表中，并运行批处理查询以读取该数据。

93.1 Flink-SQL 写法

  • Source 源

在这里插入图片描述

  • Sink 目的

在这里插入图片描述

  • Insert 插入

在这里插入图片描述

93.2 Flink-Table 写法

  • Source 源

在这里插入图片描述

  • Sink 目的

在这里插入图片描述

  • Insert 插入

在这里插入图片描述

94.Flink - Hive 实时读数据介绍下？

在这里插入图片描述
Flink 源码中在对 Hive 进行读取操作时，会经历以下几个步骤：

  • Flink 都是基于 Calcite 先解析 SQL，确定表来源于 Hive，如果是 Hive 表，将会在 HiveCatalog 中创建 HiveTableFactory。
  • HiveTableFactory 会基于配置文件创建 HiveTableSource，然后 HiveTableSource 在真正执行时，会调用 getDataStream 方法，通过 getDataStream 方法来确定查询匹配的分区信息，然后创建表对应的 InputFormat，然后确定并行度，根据并行度确定 slot 分发 HiveMapredSplitReader 任务。
  • 在 TaskManager 端的 slot 中，Split 会确定读取的内容，基于 Hive 中定义的序列化工具，InputFormat 执行读取反序列化，得到 value 值。
  • 最后循环执行 reader.next 获取 value，将其解析成 Row。

95.Flink - Hive 实时写数据时，如何保证已经写入分区的数据何时才能对下游可见呢？

如下图所示：

在这里插入图片描述

首先可以看一下，在实时的将数据存储到 Hive 数仓中，FileSystemConnector 为了与 Flink-Hive 集成的大环境适配，最大的改变就是分区提交，可以看一下左下图，官方文档给出的，分区可以采取 日期 + 小时 的策略，或者 时分秒 的策略。

那如何保证已经写入分区的数据何时才能对下游可见呢？ 这就和 触发机制 有关， 触发机制包含 process-time 和 partition-time 以及时延。

partition-time 指的是根据事件时间中提取的分区触发。当 'watermark' > 'partition-time' + 'delay'，选择 partition-time 的数据才能提交成功，

process-time 指根据系统处理时间触发，当加上时延后，要想让分区进行提交，当 'currentprocessing time' > 'partition creation time' + 'delay' 选择 process-time 的数据可以提交成功。

但选择 process-time 触发机制会有缺陷，就是当数据迟到或者程序失败重启时，数据不能按照事件时间被归入正确分区。所以一般会选择 partition-time。

G皮T
关注
  • 26
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据Flink（五十五）：Flink架构体系
Lansonli（蓝深李）的博客
07-31 1765
Flink运行时至少存在一个master处理器，如果配置高可用模式则会存在多个master处理器，它们其中有一个是leader，而其他的都是standby。一个Task可以获得的最大并行度取决于整个Flink环境的可用Slot数量，也就是如果有8个Slot，那么最大并行度也就是8，比如1个TM是一个JVM进程，如果有6个Slot，那么这6个Slot平分这一个JVM进程的资源。Slot是对一个TM的资源进行固定分配的工具，每个Slot在TM启动后，可以获得固定的资源。，用于执行一个dataflow的。
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
分享课程——《Flink SQL大数据项目实战》，2022新课，基于Flink1.14.3版本。提供视频配套的源码和文档下载！ Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time与WaterMark、Window操作、函数使用、元数据管理，最后以一个完整的实战项目为例，详细讲解FlinkSQL的流式项目开发。 课程特色 1.课程以FlinkSQL技术为主线，先讲解FlinkSQL核心技术，后讲解项目实战。 2.课程从理论原理、环境配置、服务安装、组件集成开发、业务代码开发、可视化等项目完整流程讲解，不会跳讲和断讲 3.课程中无论案例代码开发还是项目业务代码开发，每一行代码都会边实现边讲解。 4.课程中目前使用Flink1.14.3最新稳定版本。
【Flink SQL】Flink SQL 基础概念（一）：SQL & Table 运行环境、基本概念及常用 API
最新发布
书山有路，学海无涯。记录成长，追逐梦想
03-11 1141
Table API 是一种集成在 Java、Scala 和 Python 语言中的查询 API，简单理解就是用 Java、Scala、Python 按照 SQL 的查询接口封装了一层 lambda 表达式的查询 API，它允许以强类型接口的方式组合各种关系运算符（如选择、筛选和联接）的查询操作，然后生成一个 Flink 任务运行。
Flink流批一体计算（24）：Flink SQL之mysql维表实时关联
victory0508的专栏
12-06 816
目前在实时计算的场景中，大多数都使用过MySQL、Hbase、redis作为维表引擎存储一些维度数据，然后在DataStream API中调用MySQL、Hbase、redis客户端去获取到维度数据进行维度扩充。如果超过该值，则最老的行记录将会过期，会被新的记录替换掉。指定缓存中每行记录的最大存活时间。本案例采用MySQL创建维表，与创建MySQL sink表语法相同。在MySQL中创建名为sync_test_3的表。（默认值）：缓存空的查询结果。是否缓存空的查询结果。：不缓存空的查询结果。
Flink SQL篇，SQL实操、Flink Hive、CEP、CDC、GateWay
一个写湿的程序猿
02-10 3196
Flink SQL 篇82、Flink SQL有没有使用过？83、Flink被称作流批一体，从哪个版本开始，真正实现流批一体的？84、Flink SQL 使用哪种解析器？85、Calcite主要功能包含哪些？86、Flink SQL 处理流程说一下？87、Flink SQL包含哪些优化规则？88、Flink SQL中涉及到哪些operation？89、Flink Hive有没有使用过？90、Flink与Hive集成时都做了哪些操作？91、HiveCatalog类包含哪些方法？92、Flink SQL1.11
2.3 如何使用FlinkSQL读取&写入到JDBC(MySQL)
向热爱自己一样，热爱这个世界。
10-18 3420
使用FlinkSQL读取&写入到JDBC(MySQL)
FlinkSql概述
m0_57697768的博客
06-19 7282
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的。
Flink:Flink-SQL开发
07-27 1万+
背景 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。 Flink SQL 是面向用户的 API 层，在我们传统的流式计算领域
flink-sql所有语法详解
begefefsef的博客
09-09 1万+
SET语句用于修改配置或列出配置。RESET语句用于将配置重置为默认值。CREATE语句用于将表/视图/函数注册到当前或指定的 Catalog 中。已注册的表/视图/函数可以在SQL查询中使用。NSERT语句用于向表中添加行数据。USE语句用于设置当前数据库或catalog，或更改模块的解析顺序和启用状态。select语句主要是从表中查询数据，然后将数据插入到其他表中。直接在页面中查看select的结果，目前平台还不支持。单个反斜杠就可以作为转义字符使用，在select查询中可以直接使用。
Flink 学习十 FlinkSQL
weixin_44244088的博客
06-20 7828
flinksql 从入门到入门...
Flink-SQL
qq_45409791的博客
08-02 2968
1.抽象出来一个动态表，并未进行存储，是Flink支持流数据的tableAPI和sql的核心概念，随时间变化的，查询动态表会生成一个连续的查询，结果是一个动态表2.hive进入命令行需要先启动元数据服务，在查数据的时候数据是不变的3.除非是有界流，否则连续的查询是不会停止的4.将流转化（定义）成动态表，在动态表上计算一个连续的查询，生成一个新的动态表，最后转换成流，连续查询从不停止，会根据输入表上的更新对结果表进行更新。......
FlinkSQL实战：HBase的结合应用
02-23
而当下FlinkSQL的火热程度不用多说，FlinkSQL也为HBase提供了connector，因此HBase与FlinkSQL的结合非常有必要实践实践。当然，本文假设用户有一定的HBase知识基础，不会详细去介绍HBase的架构和原理，本文着重介绍...
大数据实时计算FlinkSQL解密
03-03
阿里巴巴将该项目命名为Blink，主要由BlinkRuntime与FlinkSQL组成。BlinkRuntime是阿里巴巴内部高度定制化的计算内核，FlinkSQL则是面向用户的API层，我们完善了部分功能，比如Agg、Join、Windows处理等。今年，我们...
大数据Flink（一百零四）：SQL任务参数配置
Lansonli（蓝深李）的博客
10-27 1567
在计算 count(1)，sum(col) 场景汇总提效很高，因为 count(1)，sum(col) 在经过本地 localAggregate 之后，每个 group by 的 key 就一个结果值。Flink SQL 相关参数需要在 TableEnvironment 中设置。Flink SQL 任务在生成执行计划时，优化生成更优的执行计划。用于优化 Flink SQL 任务在执行时的任务性能。
Flink 最锋利的武器：Flink SQL 入门和实战
热门推荐
微信搜：import_bigdata，大数据领域硬核原创作者
06-21 8万+
一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015...
大数据Flink（九十一）：Array Expansion（数组列转行）和Table Function（自定义列转行）
Lansonli（蓝深李）的博客
09-27 371
：这个其实和 Array Expansion 功能类似，但是 Table Function 本质上是个 UDTF 函数，和离线 Hive SQL 一样，我们可以自定义 UDTF 去决定列转行的逻辑。：比如某些场景下，日志是合并、攒批上报的，就可以使用这种方式将一个 Array 转为多行。：将表中 ARRAY 类型字段（列）拍平，转为多行。SQL 表值函数（Table Function）
大数据Flink（九十三）：DML：Order By、Limit 子句
Lansonli（蓝深李）的博客
10-01 260
实时任务中，Order By 子句中必须要有时间属性字段，并且时间属性必须为升序时间属性，即 WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '0.001' SECOND 或者。，但在实时任务中一般用的非常少。
快速入门Flink SQL —— 介绍及入门
大数据记录
12-16 1万+
前言          Flink 本身是批流统一的处理框架，所以 Table API 和 SQL，就是批流统一的上层处理 API。目前功能尚未完善，处于活跃的开发阶段。          Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如 select、f
大数据Flink编程实践
11-26
Flink是一个流式数据处理框架，它可以用于实时数据流处理和批处理。下面是Flink编程实践的一些步骤和方法： 1. 安装Flink：可以从Flink官网下载二进制文件并解压缩，然后启动Flink集群。 2. 编写Flink程序：Flink程序可以使用Java或Scala编写。Flink提供了DataStream和DataSet两个API，分别用于流处理和批处理。可以使用这些API来定义数据源、转换和汇聚操作。 3. 运行Flink程序：可以使用Flink命令行工具或Web界面提交Flink程序。Flink会将程序分发到集群中的所有节点上执行。 4. 监控Flink程序：Flink提供了Web界面和命令行工具来监控Flink程序的运行状态。可以使用这些工具来查看任务的状态、指标和日志信息。 5. 调试Flink程序：可以使用Flink提供的调试工具来调试Flink程序。可以在本地模式下运行程序，并使用调试器来单步执行程序并查看变量的值。 6. 部署Flink程序：可以将Flink程序打包成可执行的JAR文件，并将其部署到生产环境中。可以使用Flink提供的部署工具来管理Flink程序的部署和升级。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值