Flink_Flink 的容错

最新推荐文章于 2023-05-20 07:27:25 发布

BigMoM1573

最新推荐文章于 2023-05-20 07:27:25 发布

阅读量337

点赞数 1

分类专栏： Flink 文章标签： Flink

本文链接：https://blog.csdn.net/qq_44509920/article/details/107446377

版权

本文深入探讨了Apache Flink的容错机制，重点介绍了Checkpoint的三种持久化存储方式：MemStateBackend、FsStateBackend和RocksDBStateBackend，以及如何修改State Backend。此外，还详细讲解了Flink的重启策略，包括固定延迟重启、失败率重启和无重启策略，并提供了相应的配置示例。

摘要由CSDN通过智能技术生成

1. Checkpoint 介绍

在这里插入图片描述

2. 持久化存储

目前，Checkpoint 持久化存储可以使用如下三种:

2.1 MemStateBackend（默认）

在这里插入图片描述

2.2 FsStateBackend（建议使用）

在这里插入图片描述

2.3 RocksDBStateBackend

在这里插入图片描述

2.4 语法

val env = StreamExecutionEnvironment.getExecutionEnvironment() 
// start a checkpoint every 1000 ms 
env.enableCheckpointing(1000) 
// advanced options: 
// 设置 checkpoint 的执行模式，最多执行一次或者至少执行一次 
env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE) 
// 设置 checkpoint 的超时时间 
env.getCheckpointConfig.setCheckpointTimeout(60000) 
// 如果在只做快照过程中出现错误，是否让整体任务失败：true 是 false 不是 
env.getCheckpointConfig.setFailTasksOnCheckpointingErrors(false) 
//设置同一时间有多少 个 checkpoint 可以同时执行 
env.getCheckpointConfig.setMaxConcurrentCheckpoints(1)

2.5 修改 State Backend 的两种方式

第一种：单任务调整

//修改当前任务代码
env.setStateBackend(new FsStateBackend("hdfs://node01:8020/flink/checkpoints")); 
或者 new MemoryStateBackend() 
或者 new RocksDBStateBackend(filebackend, true);
【需要添加第三方依赖】

最低0.47元/天解锁文章