Flink对数据延迟的解决方案！

最新推荐文章于 2024-12-23 17:30:42 发布

JavaEdge聊AI

最新推荐文章于 2024-12-23 17:30:42 发布

阅读量1.6k

点赞数 25

文章标签： flink 大数据

本文链接：https://blog.csdn.net/qq_33589510/article/details/140990905

版权

点击下方“JavaEdge”，选择“设为星标”

第一时间关注技术干货！

免责声明~

任何文章不要过度深思！

万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；

不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。

怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」

1 前言

一系列数据（Data-5, Data-4, Data-1, Data-3, Data-2）按一定顺序排列。

异常：数据到达顺序与它们实际发生时间顺序不一致。按照时间戳来看，Data-1最先发生，但却排在Data-4和Data-5之后。

Data-1即为延迟数据，因为它比Data-4和Data-5更早发生，但更晚到达。

注意 data-1 只是延迟，不是丢失了！

2 数据延迟的影响

2.1 影响计算结果

在Flink的窗口计算中，乱序数据会导致窗口的关闭时机不准确，从而影响计算结果。如若按照窗口大小来划分，Data-1可能会被分配到一个错误的窗口中。

2.2 实时性降低

延迟数据的存在会降低Flink处理数据的实时性。如果Data-1承载着重要的实时信息，那么延迟到达会影响决策的时效性。

2.3 数据丢失风险

某些情况下，严重的延迟数据甚至可能导致数据丢失。例如，如果窗口已经关闭，而迟到的数据又无法被重新处理，那么这些数据就会丢失。

3 导致数据延迟的原因

网络传输延迟: 数据在网络传输过程中可能遇到拥塞、丢包等问题，导致延迟。
数据源产生延迟: 数据源本身可能存在延迟，例如数据库查询缓慢、传感器数据采集不及时。
Flink任务处理瓶颈: Flink任务的并行度、资源配置等因素可能导致处理速度跟不上数据到达的速度。
Watermark设置不合理: Watermark是Flink用来处理乱序数据的重要机制，如果Watermark设置不合理，也会导致数据延迟问题。

4 解决思路

使用事件时间作为标准
设置水位线：根据数据特性和业务需求，合理设置Watermark生成策略。
设置允许延迟的时间：对于允许一定程度的延迟，可以在窗口定义时设置允许迟到的时间。在窗口关闭后，仍然会等待一段时间，以接收迟到的数据

5 步骤

定义窗口时间
设置：水位线为最大事件时间 - 允许延迟的时间

5.1 触发窗口计算

水位线 > 窗口时间：当水位线超过窗口的结束时间，保证了窗口内的数据基本都到达了，避免过早触发计算导致结果不准确。
窗口内有数据：这个条件保证了窗口计算是有意义的，避免对空的窗口进行计算。仅当窗口内存在数据时，才会触发计算，即使水位线已超过窗口时间

5.2 案例

假设现在：

窗口时间=10s
允许延迟的时间 =3.5s
水位线=最大EventTime -允许延迟的时间

触发窗口计算条件：

水位线>窗口时间
窗口内有数据

事件1： 表示一个到达Flink系统的事件，其事件时间为8。

窗口时间： 设置为10s，即每10s生成一个新窗口。

允许延迟时间： 设置3.5s，表示系统允许事件到达的时间延迟最多为3.5s。

水位线： 水位线是Flink用于跟踪事件时间的一个特殊标记，它的计算方式为：最大事件时间 - 允许延迟时间。在当前示例中，水位线为max(8) - 3.5 = 4.5<10，所以不触发计算。

事件二来了，看起来它是个延迟事件了。但依旧不能触发计算：

事件三来了，开始触发计算了：

但即便如此，对那些超长延迟的数据还是无法计算。处理方案：

单独搜集，稍后处理
完全不处理，直接丢弃

关注我，紧跟本系列专栏文章，咱们下篇再续！

★
作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。

各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。

负责：

中央/分销预订系统性能优化
活动&券等营销中台建设
交易平台及数据中台等架构和开发设计
车联网核心平台-物联网连接平台、大数据平台架构设计及优化
LLM Agent应用开发
区块链应用开发

目前主攻市级软件项目设计、构建服务全社会的应用系统。
”

参考：