自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

翻译 数据流容错

数据流容错 此文档描述Flink的数据流容错机制。 介绍 Flink提供失败容错机制能始终恢复数据流的状态。这机制可以确保即使出现失败,应用的状态也可以实现完全一次的数据流记录处理。 注意,还有一个开关可以将保护降级到至少一次。(介绍在下面) 容错机制不断的为分布式数据流生成快照。对于状态规模小的流处理程序,快照是非常轻量的,可以频繁生成并不会影响程序处理性能。 数据流程序的状态被保存在一个可配置...

2018-12-19 17:56:56 236

翻译 state backends

状态后端 数据流API的程序中通常以如下几种形式保存状态: 窗口算子收集数据元素或聚合直到他们被发射出去 转换函数会使用key/value状态接口存储数据 转换函数会实现CheckpointedFunction接口,来保证局部变量的故障恢复 当检查点机制被激活,这种状态在检查点上保持,以防止数据丢失和一致地恢复。 状态是如何在内部表示,并且它如何在检查点上保持依赖于选择的状态后端。 可用的状态后端...

2018-12-19 10:41:20 179

翻译 savepoints

什么是保存点?保存点和检查点的区别在哪 保存点是数据流的执行状态(一致的?),是通过检查点机制创建的。利用保存点可以停止和恢复,fork,或者更新任务。保存点由两部分组成:一个可靠存储上的文件路径(例如 hdfs,s3.。。),里面保存了二进制文件(通常比较大),还有一个元数据文件(相对小一些)。 可靠存储中的文件保存了job运行状态镜像的网络数据。保存点的元数据文件包括了(主要)可靠存储中全部文...

2018-12-19 10:39:21 565

翻译 checkpoint

概述 检查点机制通过恢复状态及数据流位置来实现系统容错,以此提供了不受限的失败处理。 启动检查点并配置请参考检查点使用文档 保留的检查点 默认检查点只用来恢复失败的任务,不会保留。在程序被取消时,检查点会被删除。 但是可以通过配置周期性检查点来保留。配置后,在任务失败或取消时,被保留的检查点不会自动删除。 这样就有了一个用来恢复失败任务的检查点。 CheckpointConfig config =...

2018-12-19 10:36:46 229

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除