![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 92
别这么骄傲
学习就是在不断的反思和总结,反思自己的不足,总结自己的缺点,迎难而上,向来都是逆水行舟,不进则退,get and bug。
展开
-
Checkpoint机制和生产配置
Checkpoint机制,又叫容错机制,可以保证流式任务中,不会因为异常时等原因,造成任务异常退出。可以保证任务正常运行。(1)能在集群异常时,保持已计算的数据,下次恢复时能在已保存数据的基础上,继续计算(类似于快照);(2)避免数据丢失(通过Barrier实现)Flink流式任务,需要长期运行,就算遇到一些数据异常问题等,也不能随便退出。Flink为了让任务能够在遇到异常退出时,能够重新启动,正常运行,Flink提出了重启策略的概念。原创 2024-04-24 00:25:29 · 960 阅读 · 0 评论 -
Flink窗口机制
时间是为窗口服务的。窗口是什么?为什么会有窗口呢?(1)Flink要处理的数据,一般是从Kafka过来的流式数据,如果只是单纯地统计流的数据量,是没办法统计的。(2)所以,要人为的 加上了一个时间区间限制(窗口),才可以进行统计。原创 2024-04-21 01:01:22 · 570 阅读 · 1 评论