![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
Resemble_
一只程序猿的奇思妙想
github: https://github.com/Resemble
展开
-
flink onTimer延迟数据处理
目录场景:onTimer 使用关键流程数据处理流程代码交互流程onTimer 延迟数据处理的优劣优点:缺点:onTimer 编码实践业务场景描述代码场景:某些特殊业务场景需要延迟数据处理,比如乱序数据。某些业务场景只需要保留最新数据,中间更新过程忽略不计,比如客服问卷最新状态。某些业务场景需要结合最近一段时间的数据进行处理,比如客服侧由于系统短时间单条数据更新多个字段,系统侧更新字段顺序错误,导致中间记录的 binlog 数据可能有误,需要结合一.原创 2020-11-09 09:55:55 · 3437 阅读 · 0 评论 -
Flink ProcessFunction onTimer 延迟处理数据
ProcessFunction和CoProcessFunction说明DataStream与KeyedStreamd都有Process方法,DataStream接收的是ProcessFunction,而KeyedStream接收的是KeyedProcessFunction(原本也支持ProcessFunction,现在已被废弃)0.AbstractRichFunction介绍1....转载 2020-04-06 20:48:22 · 7629 阅读 · 0 评论 -
Flink 原理与实现:数据流上的类型和操作
Flink 为流处理和批处理分别提供了 DataStream API 和 DataSet API。正是这种高层的抽象和 flunent API 极大地便利了用户编写大数据应用。不过很多初学者在看到官方 Streaming 文档中那一大坨的转换时,常常会蒙了圈,文档中那些只言片语也很难讲清它们之间的关系。所以本文将介绍几种关键的数据流类型,它们之间是如何通过转换关联起来的。下图展示了 Flink 中...转载 2019-09-18 20:12:25 · 229 阅读 · 0 评论