flink实战--延迟监控 metrics.latency.interval

最新推荐文章于 2023-11-19 22:07:38 发布

阿华田512

最新推荐文章于 2023-11-19 22:07:38 发布

阅读量2k

点赞数

分类专栏： Flink学习必读系列文章标签： flink big data html5

本文链接：https://blog.csdn.net/aa518189/article/details/117598946

版权

Flink学习必读系列专栏收录该内容

68 篇文章 554 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Flink流处理中如何进行数据延迟监控，特别是metrics.latency.interval配置的作用。通过LatencyMarks和LatencyMarker，Flink能够跟踪数据延迟，并提供不同粒度的延迟统计。在启用延迟跟踪后，用户可以在Flink UI的Metrics中查看延迟信息。建议适当设置metrics.latency.interval的值以避免过度消耗资源。

摘要由CSDN通过智能技术生成

背景

流处理系统进行数据计算时，数据延迟是不可接受的，但是又不可避免的。出现数据延迟我们需要知道任务延迟的整体分布（哪些算子数据流转出现了延迟）。因此延迟监控在流处理框架中极其重要。Flink作为流处理框架的翘楚,在数据延迟方面也有系统性的方案，本文详细介绍DataStream以及FlinkSQL如何对数据延迟进行监控。

LatencyMarks

与通过水印来标记事件时间的推进进度相似，Flink也用一种特殊的流元素作为延迟的标记，称为LatencyMarker。LatencyMarker在source上以可配置发送间隔，并由任务Task转发。Sink最后接收到LatencyMarks后，将比较LatencyMarker的时间戳与当前系统时间，以确定延迟。LatencyMarker不会增加作业的延迟，但是LatencyMarker与常规记录类似，可以被delay阻塞（例如反压情况），因此LatencyMarker的延迟与Record延迟近似。