Flink-读取kafka的数据及Checkpoint配置

最新推荐文章于 2025-05-06 09:13:00 发布

Wang Zhuoqun

最新推荐文章于 2025-05-06 09:13:00 发布

阅读量1.6k

点赞数 2

分类专栏： Flink 文章标签： kafka flink java

本文链接：https://blog.csdn.net/ooeeerrtt/article/details/124618907

版权

public class KafkaSourceStream {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(3);

        env.enableCheckpointing(5000);
        env.setStateBackend(new FsStateBackend("/"));
        // 精准一次性语义
        env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
        env.getCheckpointConfig().setCheckpointTimeout(50000);
        env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
        // 将检查点的元数据信息定期写入外部系统，如果job失败时，检查点不会被清除。
        env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
        // 如果job失败后恢复，从最近的检查点恢复job。
        env.getCheckpointConfig().setPreferCheckpointForRecovery(true);

        Properties props = new Properties();
        props.put("bootstrap.servers