Flink通过checkpoint实现状态恢复

最新推荐文章于 2024-07-24 12:14:12 发布

黄瓜炖啤酒鸭

最新推荐文章于 2024-07-24 12:14:12 发布

阅读量5.1k

点赞数 3

分类专栏： Flink 优化文章标签： Flink通过checkpoint保存state状态 Flink通过checkpoint恢复state状态 Flink state状态恢复

本文链接：https://blog.csdn.net/qq_31866793/article/details/103069646

版权

本文通过实例演示了如何使用Flink的checkpoint功能来实现状态的保存和恢复。首先，启动一个Flink任务，将Kafka数据存储到state，并通过checkpoint将状态保存到HDFS。接着，观察HDFS中生成的快照文件。在输入数据后，杀死并重启任务，指定恢复到某个特定的checkpoint。重启后，任务从上次的状态继续处理，验证了checkpoint的正确性。

摘要由CSDN通过智能技术生成

1，我们先看一下最简单的代码，消费kafka的数据然后state存储，通过checkpoint保存到hdfs

package application;

import appOperator.stateMap;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.contrib.streaming.state.RocksDBStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.util.Properties;

public class CheckPointState_demo {
    private static Logger logger &#