flink checkpoint 恢复_Flink on Zeppelin (9). Checkpoint & Savepoint

最新推荐文章于 2023-07-05 16:24:58 发布
VIP文章 最新推荐文章于 2023-07-05 16:24:58 发布
阅读量655 收藏
点赞数
文章标签： flink checkpoint 恢复
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_26854829/article/details/112103163
版权

Checkpoint 和 Savepoint 都是用来存储 Flink Job的状态。如果你要用 Flink来上生产，那么 Checkpoint 和 Savepoint是必不可少的。Checkpoint 和 Savepoint 的主要使用场景有以下两种：

  • 在一个Flink Job生命周期内 (JobManager 没有退出)，如果某个Task挂掉了，Flink会自动重新启动整个Job，重启Job所使用的状态就是Checkpoint数据 (这个过程也就是我们俗称的Fail over)。

  • 如果一个 Flink Job 挂了(JobManager已经退出)，这个时候你要重新启动作业的话(比如用 flink run 重新跑作业)，也是可以从Checkpoint 或者 Savepoint 来恢复到原来的状态。

启用Checkpoint

默认情况下，你的Flink Job是没有checkpoint的。在Zeppelin里，你可以通过以下两种方式来启用Checkpoint

  • Scala API 启用checkpoint

  • %flink.conf 启用checkpoint

下面分别是两个例子启用Checkpoint，只是做最简单的配置，更多的配置选项请参考Flink官网文档，

  • https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/config.html#checkpointing

  • https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/state/checkpointing.html

%flinkimport org.apache.flink.streaming.api.environment.CheckpointConfig.ExternalizedCheckpointCleanupimport org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.runtime.state.filesystem.FsStateBackendsenv.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)senv.enableCheckpointing(10 * 1000)senv.setStateBackend(new FsStateBackend("file:///tmp/flink/checkpoints"));val chkConfig = senv.getCheckpointConfigchkConfig.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION)</
最低0.47元/天 解锁文章
hitomo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 &amp; 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。 当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 CheckPoint 中途数据不被删除        如果现在有个任务已经执行很长时间，这样就突然停止了，那么中间过程处理结果全丢了，重启后重跑岂不很浪费时间。这样显然是不行的，所以我们可以通过以下设置来保存任务处理中途的 CheckPoint 数据的（如果不设置，任务停止后CheckPoint数据会自动删除）。 //系统
Flink 1.12 状态与容错
GavinKai
11-05 1292
概述 Checkpoint 使 Flink 的状态具有良好的容错性，通过 checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。 参考Checkpointing查看如何在 Flink 程序中开启和配置 checkpoint。 保留 Checkpoint Checkpoint 在默认的情况下仅用于恢复失败的作业，并不保留，当程序取消时 checkpoint 就会被删除。当然，你可以通过配置来保留 checkpoint，这些被保留的 checkpoint 在作业失败或取消时不会..
Flink（33）：Flink之状态恢复和重启策略
yang_shibiao的博客
08-28 3334
目录 0. 相关文章链接 1.重启策略配置方式 2. 重启策略分类 2.1. 默认重启策略 2.2. 无重启策略 2.3.固定延迟重启策略 2.4.失败率重启策略 3. 代码演示 4. 手动重启并恢复 0. 相关文章链接 1.重启策略配置方式 ① 配置文件中 在flink-conf.yml中可以进行配置,示例如下: restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 restart-...
flink根据checkpoints状态恢复数据
bankq的博客
07-02 4694
说明 flink消费kafak数据至ES 在程序中已经启用了checkpoints 1、启动flink程序 [bigdata@cdh03 /bigdata/flink-1.7.2-client/sh]$cat submit-flink-yarn-merge.sh #!/bin/bash ​ #-m 运行模式，这里使用yarn-cluster，即yarn集群模式。 #-ys slot个数。 #-ynm Yarn application的名字。 #-yn task manager 数量。-yn
Flink 解析（四）：恢复机制
Stray_Lambs的博客
12-14 4751
目录 Flink恢复机制 Checkpoint是什么 Savepoint保存点 检查点协调器 Checkpoint Checkpoint保存什么信息 Checkpoint如何保存信息 Barrier 对齐 精准一次性(exactly once) 端到端精准一次 Job失败后，从检查点恢复 应用自动恢复机制 手动作业恢复机制 Job失败后，从保存点恢复机制 参考 Flink恢复机制 任何一个框架都存在出错的可能，所以都会有自己的一套恢复机制，例如Spark是采用血缘关系从头开
FLINK_ON_YARN-1.12.0.jar
11-01
适用范围CDH (>= 5.2), CDH (),系统版本 el7
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
flink-dist_2.11-1.11.3.jar
03-02
flink环境集合包，1.11版本
Flink的数据持久化-CheckPoint机制
星空的风fly
10-02 5500
Flink内存易失，利用CheckPoint机制数据持久化，偏于出现异常，应用挂掉时，做数据恢复。所谓CheckPoint（可以理解为CheckPoint是把State数据持久化存储了）则表示了一个FlinkJob在一个特定时刻的一份全局状态快照，即包含了所有Task/Operator的状态。 一、CheckPoint的原理 Flink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机制，分布式快照可以将同一时间点Task/Operator的状态数据全局统一快照处理，包括前面提到的Key
Flink checkpoint机制以及恢复
HiBoyljw的博客
10-29 3713
什么是checkpoint? checkpoint 则表示了一个 Flink Job ，在一个特定时刻的一份全局状态状态快照，即包含了一个 job 下 所有 task/operator 某时刻的状态。 问题九、使用checkpoint（检查点）的作用？ 使用Checkpoint提高程序的可靠性 用户可以根据程序里面的配置将checkpoint打开，给定一个时间间隔后，框架会按照时间间隔给程序的状态进行备份。 当发生故障时，Flink会将所有Task的状态一起恢复到Checkpoint的状态。从那个位置开始
flink-Checkpoint容错恢复
互联网知识分享
05-20 1056
（2）目前本人测试不能在flink的xshell命令行界面进行Ctrl+C进行退出(这个也很好奇，webUI的cancel 单击是模拟正常的)，否则Checkpoint文件是没有真正意义上的保存到本地路径的，但在flink-WebUI的界面却显示了成功保存路径的信息，而实际没有保存，这个问题要严重注意，千万不要随便按Ctrl+C，但可以按ctrl+z，后台运行。）Flink故障恢复机制的核心，就是应用状态的一致性检查点有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份 拷贝（一份快照）；
Flink（二十四）—— Flink状态管理和容错机制介绍
weixin_42073629的博客
10-17 350
有状态的流数据处理 本文整理自去年8月11日在北京举行的 Flink Meetup 会议，分享嘉宾施晓罡，目前在阿里大数据团队部从事Blink方面的研发，现在主要负责Blink状态管理和容错相关技术的研发。 1.1. 什么是有状态的计算 计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。 比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出，在计算的过程中要不断的把输入累加到count上去，那么count
flink状态与容错-1.13
第一片心意的博客
12-03 3211
本文为 flink 1.13 官网中对于状态与容错部分的翻译整理。
从checkpoint恢复flink job
热门推荐
帆了个帆的专栏
03-26 1万+
flink使用checkpoint方式保存task的状态，当task失败时，可以从之前checkpoint地方恢复状态； 如果说整个应用挂了，如何根据之前checkpoint来恢复应用的状态； 首先应用挂了的话，它默认会删除之前checkpoint数据，当然我们可以在代码中设置应用退出时保留checkpoint数据 CheckpointConfig config = env.getChec...
flink checkpoint 重启_Flink Sql on Zeppelin之Checkpoint应用
weixin_36319281的博客
01-19 1829
1 概述我们都知道，使用Scala或者Java写代码的时候可以配置Flink Checkpoint:valenv=StreamExecutionEnvironment.getExecutionEnvironment .enableCheckpointing(5 * 60 * 1000)val checkpointConfig = env.getCheckpointConfigch...
如何写好状态机？跑马灯/流水灯Verilog HDL实现
Josvin
04-15 4332
如何写好状态机 很多初学者不知道何时应用状态机。这里介绍两种应用思路：第一种思路，从状态变量入手。如果一个电路具有时序规律或者逻辑顺序，我们就可以自然而然地规划出状态，从这些状态入手，分析每个状态的输入，状态转移和输出，从而完成电路功能；第二种思路是首先明确电路的输出的关系，这些输出相当于状态的输出，回溯规划每个状态，和状态转移条件与状态输入。无论那种思路，使用状态机的目的都是要控制某部分电路，完...
Flink 利用 Checkpoint 实现故障恢复
SmartSi
09-30 1342
在本节中，我们将介绍 Flink 如何利用检查点 Checkpoint 实现故障恢复。
Flink 本地调试从checkpoint恢复
最新发布
夏夏夏
07-05 474
flink 本地调试从检查点恢复
flink checkpoint 恢复_Flink 从Checkpoint中恢复作业
weixin_39977642的博客
12-27 2047
Flink 1.11 版本1. 配置如果我们的任务已经执行很长时间，突然遇到故障停止，那么中间过程处理结果就会全部丢失，重启后需要重新从上一次开始的位置消费，这会花费我们很长的时间。这种结局显示我们不能接受，我们希望的是作业在故障失败重启后能保留之前的状态并能从失败的位置继续消费。可以通过如下配置保存处理状态：final StreamExecutionEnvironment env = ...
flink checkpoint 恢复_Flink 源码：JM 端从 Checkpoint 恢复流程
06-12
Flink 的 JobManager（JM）端从 Checkpoint 恢复流程主要包括以下几个步骤： 1. 接收到 TaskManager（TM）发送的 checkpoint 请求，JM 会触发 checkpoint 的操作，并将 checkpoint 的数据存储到持久化存储系统中，例如 HDFS。 2. 在 checkpoint 完成后，JM 会将 checkpoint 的元数据信息存储到 ZooKeeper 中，这些元数据信息包括 checkpoint 的 ID、状态等。 3. 当出现故障时，JM 会从 ZooKeeper 中获取最近一次成功的 checkpoint ID，并从持久化存储系统中加载该 checkpoint 的数据。 4. 加载完成后，JM 会将数据发送给对应的 TaskManager 进行任务的恢复。 5. TaskManager 接收到 JM 发送的数据后，会将数据反序列化，并重新初始化任务的状态，并继续执行任务。 需要注意的是，Flink 支持多种类型的 checkpoint，例如增量 checkpoint、异步 checkpoint 等，不同类型的 checkpoint 恢复流程可能会有所不同。此外，Flink 还支持容错机制，当任务出现故障时，Flink 会自动重启任务并从最近一次成功的 checkpoint 恢复数据，保证了任务的高可用性和数据的正确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值