flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇

简介

          作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配置项 + SQL 语句来推导，想要在处理有状态的大规模数据和性能调优方面游刃有余的话，用户还是需要对 SQL 状态算子生成机制和管理策略有一定了解。

 运行原理：状态算子的产生

基于优化器推导产生的状态算子

状态算子	状态清理机制
ChangelogNormalize	生命周期 TTL
SinkUpsertMaterlizer
LookupJoin（*）

（1）ChangelogNormalize

ChangelogNormalize 作为一个状态算子，旨在对涉及主键语义的数据变更日志进行标准化处理 [1] 。通过这一算子，可以有效地整合和优化数据变更记录，确保数据的一致性和准确性。该状态算子会在以下两种场景出现 [2] ：

• 使用了带有主键的 upsert 源表

upsert 源表特指在保持主键顺序一致性的前提下，仅产生基于主键的 UPDATE（包括 INSERT 和 UPDATE_AFTERÿ