![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink官方文档翻译
forme2k8
这个作者很懒,什么都没留下…
展开
-
数据流容错
数据流容错此文档描述Flink的数据流容错机制。介绍Flink提供失败容错机制能始终恢复数据流的状态。这机制可以确保即使出现失败,应用的状态也可以实现完全一次的数据流记录处理。注意,还有一个开关可以将保护降级到至少一次。(介绍在下面)容错机制不断的为分布式数据流生成快照。对于状态规模小的流处理程序,快照是非常轻量的,可以频繁生成并不会影响程序处理性能。数据流程序的状态被保存在一个可配置...翻译 2018-12-19 17:56:56 · 243 阅读 · 0 评论 -
checkpoint
概述检查点机制通过恢复状态及数据流位置来实现系统容错,以此提供了不受限的失败处理。启动检查点并配置请参考检查点使用文档保留的检查点默认检查点只用来恢复失败的任务,不会保留。在程序被取消时,检查点会被删除。但是可以通过配置周期性检查点来保留。配置后,在任务失败或取消时,被保留的检查点不会自动删除。这样就有了一个用来恢复失败任务的检查点。CheckpointConfig config =...翻译 2018-12-19 10:36:46 · 235 阅读 · 0 评论 -
savepoints
什么是保存点?保存点和检查点的区别在哪保存点是数据流的执行状态(一致的?),是通过检查点机制创建的。利用保存点可以停止和恢复,fork,或者更新任务。保存点由两部分组成:一个可靠存储上的文件路径(例如 hdfs,s3.。。),里面保存了二进制文件(通常比较大),还有一个元数据文件(相对小一些)。可靠存储中的文件保存了job运行状态镜像的网络数据。保存点的元数据文件包括了(主要)可靠存储中全部文...翻译 2018-12-19 10:39:21 · 582 阅读 · 0 评论 -
state backends
状态后端数据流API的程序中通常以如下几种形式保存状态:窗口算子收集数据元素或聚合直到他们被发射出去转换函数会使用key/value状态接口存储数据转换函数会实现CheckpointedFunction接口,来保证局部变量的故障恢复当检查点机制被激活,这种状态在检查点上保持,以防止数据丢失和一致地恢复。状态是如何在内部表示,并且它如何在检查点上保持依赖于选择的状态后端。可用的状态后端...翻译 2018-12-19 10:41:20 · 187 阅读 · 0 评论