Tips | Flink sink schema 字段设计小技巧

Tips | Flink sink schema 字段设计小技巧

公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。

本系列每篇文章都比较短小，不定期更新，从一些实际的 case 出发抛砖引玉，提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧，阅读时长大概 2 分钟，话不多说，直接进入正文！

sink schema 中添加 version 版本字段

如 title，直接上实践案例和使用方式。

实践案例及使用方式

• 非故障场景下产出的每条记录的 version 字段值为 1
• 故障场景下，可以在同一 sink 中产出 version > 1（非 1）的数据，代表故障修复数据提供给下游消费

可应对的故障场景

上游 flink 任务 A 发生故障导致产出脏数据至 kafka X，并且下游消费方可以按照下面两类进行划分：

• 下游为 flink 任务：flink 任务 B 消费 kafka X 中的脏数据，结果计算并产出错误数据
• 下游为 OLAP 引擎以及 BI 看板：结果导致看板展示数据异常
<