checkpoint

概述
检查点机制通过恢复状态及数据流位置来实现系统容错,以此提供了不受限的失败处理。
启动检查点并配置请参考检查点使用文档

保留的检查点
默认检查点只用来恢复失败的任务,不会保留。在程序被取消时,检查点会被删除。
但是可以通过配置周期性检查点来保留。配置后,在任务失败或取消时,被保留的检查点不会自动删除。
这样就有了一个用来恢复失败任务的检查点。

CheckpointConfig config = env.getCheckpointConfig();
config.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

ExternalizedCheckpointCleanup配置在取消任务时如何处理检查点:
ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION:任务取消时保留检查点。注意,取消任务后需要自行删除检查点状态。
ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION:任务取消时删除检查点。检查点状态只在任务失败时可用。

目录结构
与保存点相似,一个检查点由元数据文件、状态存储,还有一些附件文件组成。元数据文件和数据文件保存的文件目录,通过配置文件的state.checkpoints.dir配置项配置,同时也可以在每个任务的代码中指定。
配置文件配置全局检查点路径
state.checkpoints.dir: hdfs:///checkpoints/

每个任务构造statebacken时指定路径
env.setStateBackend(new RocksDBStateBackend(“hdfs:///checkpoints-data/”);

与保存点的区别
检查点和保存点存在一点区别:
使用statebackend特定的数据格式,可能是增量的
不支持rescaling(重新调节)特性

使用保留的检查点恢复
跟保存点相似,可以使用检查点的元数据文件恢复任务。注意。如果元数据文件没有直接保存数据。jobmanager需要能访问元数据文件引用的数据文件。
$ bin/flink run -s :checkpointMetaDataPath [:runArgs]

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值