【FLink】Flink checkpoint 实现数据连续计算恢复机制案例实战

最新推荐文章于 2024-02-20 11:23:54 发布

九师兄

最新推荐文章于 2024-02-20 11:23:54 发布

阅读量400

点赞数 1

分类专栏：大数据-flink

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/119257237

版权

大数据-flink 专栏收录该内容

854 篇文章 860 订阅 ¥99.90 ¥299.90

订阅专栏

本文通过案例分析Flink的checkpoint机制，对比无checkpoint时任务重启后重新计算，与启用checkpoint后如何利用状态进行连续计算的情况，展示了checkpoint在保障数据一致性中的关键作用。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

本博客是视频：https://www.bilibili.com/video/BV1yk4y1z7Lr?p=26&spm_id_from=pageDriver 的笔记。

2. 案例

2.1 没有checkpoint

/**
 * 项目名称: Apache Flink 知其然，知其所以然 - upgrade
 * 功能描述: 演示开启Checkpoint之后,failover之后可以从失败之前的状态进行续跑。
 * 操作步骤:
 *        1. 直接运行程序，failover之后，聚合值可以从新计算。
 *        2. 开启Checkpoint之后，failover之后 聚合值基于原有状态进行续跑。
 *        3. 改变日志级别，我们看一下Checkpoint数据跑

了解本专栏