踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑
公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。
本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后,重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时,下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。
本文分为以下几个部分:
- 1.本次踩坑的应用场景
- 2.应用场景中发生的丢数故障分析
- 3.待修复的故障点
- 4.丢数故障解决方案及原理
- 5.总结
应用场景
应用场景如下:
- flink 任务 A 以处理时间语义做过滤产出新增 xx 明细数据至 Kafka Y
- flink 任务 B 以事件时间语义消费 Kafka Y 做窗口聚合操作产出分钟级别聚合指标至 Kafka Z
- Kafka Z 实时导入至 Druid 以做即时 OLAP 分析,并且展示在 BI 应用看板