踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑

踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑

公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。

本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后，重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时，下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。

本文分为以下几个部分：

• 1.本次踩坑的应用场景
• 2.应用场景中发生的丢数故障分析
• 3.待修复的故障点
• 4.丢数故障解决方案及原理
• 5.总结

应用场景

应用场景如下：

• flink 任务 A 以处理时间语义做过滤产出新增 xx 明细数据至 Kafka Y
• flink 任务 B 以事件时间语义消费 Kafka Y 做窗口聚合操作产出分钟级别聚合指标至 Kafka Z
• Kafka Z 实时导入至 Druid 以做即时 OLAP 分析，并且展示在 BI 应用看板