![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
会流泪de鱼
这个作者很懒,什么都没留下…
展开
-
Flink组件四:Time
4.Time4.1、Flink如何处理乱序?watermark+window机制window中可以对input进行按照Event Time排序,使得完全按照Event Time发生的顺序去处理数据,以达到处理乱序数据的目的。如果有多个watermark机制,以最后一个为准4.2、Flink何时触发window?1、watermark时间 > Event Time(对于late e...原创 2020-03-25 19:55:12 · 171 阅读 · 0 评论 -
Flink组件三:window
3.WindowCountWindow TimeWindow滚动窗口、滑动窗口、会话session窗口3.1window的类型3.1.1.countWindow使用3.2.timeWindow使用3.3.自定义window3.2.window聚合3.2.1.增量聚合窗口中每进入一条数据,就进行一次计算reduce(reduceFunction)aggregate(a...原创 2020-03-25 19:54:08 · 158 阅读 · 0 评论 -
Flink组件二:checkpoint
2.Checkpoint2.1. 状态的保存和修复checkpoint定时制作分布式快照,对程序中的状态进行备份发生故障时:将整个作业的所有task都回滚到最后一次成功checkpoint中的状态,然后从那个点开始处理必要条件:数据源支持重发一致性语义:恰好一次至少一次StreamExecutionEnvironment env = StreamExecutionEnviro...原创 2020-03-25 19:52:57 · 372 阅读 · 0 评论 -
Flink组件一:state
1.state1.1.状态管理:flink有两种状态:keyedState和operatorStatestatekeyedStateoperatorState支持的算子keyedState只能用在keyedStream的算子中每个key对应一个state可以用于所有算子常用于source,例如:FlinkKafkaConsumerkey和state一个ope...原创 2020-03-25 19:51:41 · 197 阅读 · 0 评论 -
Flink四大核心组件:State、Checkpoint、Window、Time
Flink四大核心组件:1.state1.1.状态管理:flink有两种状态:keyedState和operatorStatestatekeyedStateoperatorState支持的算子keyedState只能用在keyedStream的算子中每个key对应一个state可以用于所有算子常用于source,例如:FlinkKafkaConsumerke...原创 2020-03-25 19:49:50 · 2694 阅读 · 0 评论