【Flink】Flink checkpoint 本地磁盘 没有清除

最新推荐文章于 2024-07-11 09:55:10 发布
最新推荐文章于 2024-07-11 09:55:10 发布
阅读量734 收藏 1
点赞数
分类专栏： 大数据-flink 文章标签： flink big data 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/121976523
版权
大数据-flink 专栏收录该内容
838 篇文章 841 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

有这样一个问题，就是我的checkpoint地址配置的是本地磁盘，然后我配置了只保留最新的五个checkpoint，但是我看taskmanager磁盘上checkpoint的数据会一直保留。这个应该怎么处理呢？

在这里插入图片描述
配置如下

flinkProperties:
    state.backend: hashmap
    state.checkpoint-storage:
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Flink Checkpoint过程全网独家源码详解(一)之取消任务删除checkpoint
打工日常
10-13 1095
Flink取消任务删除Checkpoint的实现及原理，全网独家详解
【Flink】Flink 如何在本地IDEA恢复检查点 不通过IDEA 不通过 flink run 方法
九师兄
02-21 1127
文章目录1.概述2. 不友好的方法2.1 实现思路2.2 重写LocalStreamEnvironment2.3 修改主程序2.4 启动程序测试状态持久化3. 高版本 1.概述 今天有个需求。Flink 写了一个程序 使用的是本地的文件做checkpoint 然后，我想本地直接运行 从某个检查点恢复，就想直接idea下运行，不用 flink run 这个命令去运行，有办法吗？ 后来发现这篇文章：调试Local模式下带状态的Flink任务 如果使用命令行提交任务的话，可以使用-s参数指定savepoin
Flink本地checkpoint测试
Johnson8702的博客
03-01 2290
flink本地checkpoint测试
flink本地IDEA测试checkpoint
YiRan_Zhao的博客
08-02 1056
flink checkpoint idea
Flink 的 Checkpoint配置详解_flink 设置checkpoint，涨姿势了
2401_84160361的博客
04-17 1350
【代码】Flink 的 Checkpoint配置详解_flink 设置checkpoint，涨姿势了。
flink 关于checkpoint 疑虑 1
08-04
在Flink大数据处理环境中，Checkpoint机制是实现容错和高可用性的重要手段。然而，在实际应用中，可能会遇到各种问题，比如在这个场景下遇到的"Could not materialize checkpoint"异常。这个问题通常意味着Flink在...
Flink Checkpoint-轻量级分布式快照.pdf
03-21
Flink 的 Checkpoint 机制是其核心特性之一，它提供了轻量级的分布式快照功能，确保在面对系统故障或异常时能够实现精确一次的状态一致性。以下是关于 Flink Checkpoint 和分布式快照的详细说明： 1. **轻量级...
Flink学习1
08-03
同时，保存点（Savepoint）和检查点（Checkpoint）机制是Flink容错策略的核心。Savepoints由用户创建、拥有和删除，可以用于在任意时间点恢复作业。与之相比，检查点的生命周期由Flink管理，通常在作业终止后自动...
Flink 容错 2.0 的最新进展.pdf
03-21
Flink容错恢复2.0是Apache Flink在大数据处理领域的一个重大进步，其目标是提高系统的高可用性、性能和数据一致性。Flink作为流处理框架，容错机制是其核心特性之一，确保在系统故障时能够快速恢复并保持数据的一致...
Flink V1.6.1高可用配置指南
02-24
在大数据处理领域，Apache Flink 是一款强大的流处理框架，其稳定性和高性能使其在实时数据处理中备受青睐。Flink 的高可用性（High Availability, HA）是保证系统持续运行和数据不丢失的关键特性。本篇文章将深入...
Flink(七） Checkpoint/Savepoints
又小雨的博客
08-16 638
一、简介 持久化，说的是两种不同的持久化方式，Checkpoint自动持久化。和Savepoints手动持久化 checkpoint checkpoint是由flink定期的，自动的进行数据的持久化（把状态中的数据写入到磁盘（HDFS））。新的checkpoint执行完成之后，会把老的checkpoint丢弃掉 JobManager负责checkpoint的发起以及协调。JobManager节点会定期向TaskManager节点发送Barrier（实际上 是JobManager创建的CheckpointCo
Flink入门第十一课：Flink的checkpoint状态管理
曹利荣的博客
08-23 585
1、检查点基础 一致性检查点：当所有任务都处理完同一个相同的输入数据时，给所有任务拍一个快照，这个快照就是一致性检查点。它默认不开启。 所有任务都处理完同一个相同的输入数据时，状态由状态后端保存，这些状态对应的元数据由jobmanager保 存。 source算子一定要保存状态，因为有些数据处理失败后未成功保存checkpoint，而这些数据已经被source读取了，source不保存状态这部分数据就丢失了。 从一致性检查点恢复的过程： 1、重启应用...
Flink Checkpoint机制
u012667450的博客
04-27 736
来源Flink官网
【数仓】FLink+CK
qq_41466440的博客
01-12 976
【数仓】FLink+CK
Flink1.4 Checkpoints
大怀特的博客
11-10 1054
概览 Checkpoints可以拿Flink中的状态具有容错性,它是通过允许恢复状态和流原有的位置,因此使应用程序具有无故障运行语义. 查看Checkpointing来为你的程序开启和配置checkpoints功能. checkpoint存储 当开启checkpointing,管理状态被持久化来保证任务失败恢复到一致性. checkpoiting过程中持久化状态被保存在哪里是依赖选择什么Checkpoint存储. 可用的Checkpoint存储选项 Flink捆绑提供checkpoint存储类型
Flink内核源码（八）Flink Checkpoint
小朱小朱绝不认输的博客
08-17 1778
Flink中Checkpoint是使Flink 能从故障恢复的一种内部机制。检查点是 Flink 应用状态的一个一致性副本，在发生故障时，Flink 通过从检查点加载应用程序状态来恢复。：是在 input source 端插入 barrier，控制 barrier 的同步 (分界线对齐）来实现 snapshot 的备份 和 exactly-once 语义。...
Flink 清理过期 Checkpoint 目录的正确姿势
大JAVA解决方案
07-30 1248
本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的 实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkpoint 的细节。 通过本文，你能 get 到以下知识： Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录 RocksDB 增量 Checkpoint 实现原理 如何合理地删除 Checkpoint 目...
Flink 1.15本地集群部署Standalone模式(独立集群模式)
weixin_40344051的博客
07-22 4150
flink sql1.15 部署和flink sql命令操作创建job,完成mysql实时流数据同步
65、Flink 的 DataStream Connectors 概述
最新发布
猫猫爱吃小鱼粮
07-11 462
Flink 的 DataStream Connectors 概述
flink savepoint和checkpoint
03-16
Checkpoint可以在本地磁盘或远程存储中保存，以确保数据的安全性和可靠性。 Savepoint是一种手动触发的checkpoint，它可以在应用程序运行时手动创建。Savepoint可以用于在应用程序升级或更改时，保存当前应用程序的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值