极客时间_FlinkSQL 实战

最新推荐文章于 2024-12-05 18:59:32 发布

风满楼i

最新推荐文章于 2024-12-05 18:59:32 发布

阅读量864

点赞数

分类专栏：大数据文章标签：数据库

本文链接：https://blog.csdn.net/m0_45204457/article/details/128994970

版权

大数据专栏收录该内容

11 篇文章 3 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了FlinkSQL在批处理和流处理中的应用，阐述了Lambda架构的三层处理思想。重点讲解了FlinkSQL的流批一体处理，包括Table API和SQL的使用，动态表的概念，以及Flink的时间类型和Watermark机制。还详细探讨了Flink中的窗口操作，如滚动窗口、滑动窗口和会话窗口，并给出了FlinkSQL中窗口和Over窗口的使用示例。

摘要由CSDN通过智能技术生成

一、批处理以及流处理技术发展
1.Lambda架构三层划分Batch Layer、Speed Layer和Serving Layer。
①、Batch Layer：主要用于实现对历史数据计算结果的保存，每天计算的结果都保存成为一个Batch View，然后通过对Batch View的计算，实现历史数据的计算。
②、Speed Layer正是用来处理增量的实时数据。
③、Serving Layer：Lambda架构的Serving Layer用于响应用户的查询请求，合并Batch View和Realtime View中的结果数据集到最终的数据集。
二、FlinkSQL流批一体统一处理架构思想设计
1.Table API、SQL
Table API 是一种关系型API，类SQL 的API，用户可以像操作表一样地操作数据，非常的直观和方便。
SQL 作为一个"人所皆知"的语言，如果一个引擎提供SQL，它将很容易被人们接受。这已经是业界很常见的现象了。
Table & SQL API 还有另一个职责，就是负责流处理和批处理统一的API层。
Flink的Table API和SQL是流批统一的API。这意味着Table API & SQL 在无论有限的批式输入还是无限的流式输入下，都具有相同的语义。因为传统的关系代数以及SQL 最开始都是为了批式处理而设计的，关系型查询在流式场景下不如在批式场景下容易懂。
2.动态表