![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
一只考考拉
大数据开发工程师
展开
-
Flink EventTime的WaterMark机制
1)一条消息来之后,如果太晚,那就直接丢弃2)如果不丢弃,则表示如果现在放进来,后面有机会来算,所以那就放进来3)更新watermark时,针对可以算的window输出数据4)一条消息,最大可以延迟时间=用户自定义容许延迟时间 + window size + watermark发射延迟时间EventTime是事件在现实世界中发生的时间,ProcessingTime是Flink...原创 2019-11-19 15:09:43 · 181 阅读 · 0 评论 -
flink数据聚合遇到的数据过热,延迟数据丢弃, 反压等问题如何解决
首先解释一下数据过热、延迟数据丢弃和数据反压的产生原因:1.数据过热原因:实时处理中的关键问题是检测数据流中的事件模式。复杂事件处理(CEP)恰好解决了对连续传入事件进行模式匹配的问题。 匹配的结果通常是从输入事件派生的复杂事件。 与对存储数据执行查询的传统DBMS相比,CEP在存储的查询上执行数据。 可以立即丢弃与查询无关的所有数据。 考虑到CEP查询应用于潜在的无限数据流,这种方法的优...原创 2019-11-19 10:51:17 · 1181 阅读 · 0 评论 -
Flink和spark之间的异同分析
spark pk flink Flink Spark 数据模型 数据流、事件(Event)的序列 弹性分布式数据集 RDD 延迟性 批是流的特例(win) 微批量处理 有状态的计算 ...原创 2019-11-19 10:19:14 · 588 阅读 · 2 评论