Flink 能否动态更改 Checkpoint 配置？

已于 2022-05-12 10:20:52 修改
阅读量935 收藏 2
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： flink java 大数据
于 2020-03-01 09:36:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/104604258
版权
本文探讨了Flink中关于动态调整Checkpoint配置的问题，包括是否可以动态开启和调整时间间隔。通过一个B站视频演示，发现虽然Flink作业可以监听到配置变化，但实际Checkpoint配置更改并不生效。原因在于Flink的Lazy Evaluation特性，执行env的execute方法后修改配置无效。同时引用了邱从贤的观点，并提供了相关测试代码链接。
摘要由CSDN通过智能技术生成

前段时间在社区邮件中看到有人提问是否可以动态开启 Checkpoint，昨天在钉钉群中又看到有个同学在问能够动态调整 Checkpoint 的时间，其实不仅仅是这些，在社区邮件和群里经常看到有问这块内容的问题，所以可以发现在 Flink 中其实关于 Checkpoint 相关的东西还是非常重要且解决起来比较麻烦，估计应该也困扰了不少人。

不过今天的话题不是在于去讨论 Checkpoint 的机制，因为前面两个问题都涉及到了动态的去配置 Checkpoint 的参数（是否开启和 Checkpoint 的时间间隔），而 zhisheng 我在前面通过两个视频讲解了 Flink 如何与 Apollo 和 Nacos 整合去动态的更改作

了解本专栏 订阅专栏 解锁全文
zhisheng_blog
关注
专栏目录
订阅专栏
Flink SQL Checkpoint 学习总结
主要分享大数据相关的知识，如Spark、Hudi
03-03 5377
学习总结Flink SQL Checkpoint的使用，主要目的是为了验证Flink SQL流式任务挂掉后，重启时还可以继续从上次的运行状态恢复。对于flink sql读取mysql，设置checkpoint恢复不生效（不是flink cdc）checkpoint 一个时间间隔内只有一个批次，这样才能保证eos,时间间隔大小影响写入性能。
Flink 动态配置（参数 算子 CEP）
qq_36393991的博客
09-18 2730
1.方式 动态的配置的方式分两种： 第一种就是参数配置，利用nacos配置中心，更新Flink代码里的一些全局参数，从而达到更新规则的目的。 第二种则需要利用groovy脚本语言嵌入java，nacos更新groove脚本，达到动态更新的目的 代码 pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/
Flink（三十六）—— Spark/Flink广播实现作业配置动态更新
weixin_42073629的博客
10-19 646
前言 在实时计算作业中，往往需要动态改变一些配置，举几个栗子： 实时日志ETL服务，需要在日志的格式、字段发生变化时保证正常解析； 实时NLP服务，需要及时识别新添加的领域词与停用词； 实时风控服务，需要根据业务情况调整触发警告的规则。 那么问题来了：配置每次变化都得手动修改代码，再重启作业吗？答案显然是否定的，毕竟实时任务的终极目标就是7 x 24无间断运行。Spark Streaming和Flink的广播机制都能做到这点，本文分别来简单说明一下。 Spark Strea
11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）
最新发布
m0_61869253的博客
08-22 1017
从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。因为入门学习阶段知识点比较杂，所以我讲得比较笼统，大家如果有不懂的地方可以找我咨询，我保证知无不言言无不尽，需要相关资料也可以找我要，我的网盘里一大堆资料都在吃灰呢。干货主要有：①1000+CTF历届题库（主流和经典的应该都有了）②CTF技术文档（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）
一种动态更新flink任务配置的方法
0x3E6
04-25 4289
通过添加控制流的方式实现flink任务配置的动态更新
Flink/Spark 如何实现动态更新作业配置
djun0426的博客
02-11 869
Flink/Spark 如何实现动态更新作业配置 由于实时场景对可用性十分敏感，实时作业通常需要避免频繁重启，因此动态加载作业配置（变量）是实时计算里十分常见的需求，比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见，实现起来却并没有那么简单，其中最难点在于如何确保节点状态在变更期间的一致性。目前来说一般有两种实现方式： 轮询拉取方式，即作业算子定时检测...
Flink的checkpoint配置详解
ChengYanan的博客
06-11 2037
实例： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // start a checkpoint every 1000 ms env.enableCheckpointing(1000); // advanced options: // set mode to exactl...
Flink Checkpoint 详解
阳阳阳的博客
04-08 8602
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之Checkpoint 配置方式
熊老二的博客
06-30 293
Checkpoint 配置方式 1）、全局配置 修改flink-conf.yaml #jobmanager(即MemoryStateBackend), #filesystem(即FsStateBackend), #rocksdb(即RocksDBStateBackend) state.backend: filesystem state.checkpoints.dir: hdfs://namenode:8020/flink-checkpoints/checkpoint 2）、在代码中配置 //1.Me
【Flink】Flink 不支持部分 task 结束后进行 checkpoint
九师兄
03-17 2101
1.概述 以前遇到一个问题，这个问题是这样的，一个FLink job，然后部分是离线任务，数据读取完毕了，就结束了。然后发现就不做检查点了，当时没想明白，然后找到了一个老版本才出出现这样的问题。 参考：【Flink】Flink 部分算子是 FinishSHED 不做checnpoint 然后今天在一个博客中发现了原因，参考：面向流批一体的 Flink Runtime 新进展 在流模式下支持部分 task 结束后继续做 checkpoint 工作。 目前流程之下作业的结束可以分为两种情况： 如果 sour
【Flink 实战系列】Flink 使用 ParameterTool 动态加载外部配置文件
JasonLee实时计算
10-15 2444
直接在代码里面写死。把配置信息维护在一个类里面，所有用到的地方直接引用即可。把配置信息放在项目 resource 下面的一个配置文件中，然后从这个配置文件中加载配置。把配置文件放在外部，启动任务的时候传入一个路径参数，在代码里面解析配置文件。
flink算子动态编排 - 技术调研历程
AinUser的博客
12-07 2855
# 1. 首先，先展示一张常规编写算子计算流程的示意图 # 2. 如上图所示，常规编写算子，相当于死代码， 我们不能够在服务运行的时候，动态的去变更算子流程， 不过这个地方受限于flink生成的计算流图，当服务启动至运行的过程中，flink会将算子的计算流图生成好，不能够进行动态的变更。 当然下面的技术调研，也没有突破这个瓶颈，只是可以在不停止服务，不影响原有算子编排任务前提下，创建新的算子编排任务 ...
动态配置流处理-BetterCloud如何使用Flink构建报警系统
weixin_34050005的博客
12-06 523
动态配置流处理-BetterCloud如何使用Flink构建报警系统
Flink中的自定义参数与模型配置
程序员光剑
07-20 2922
作者：禅与计算机程序设计艺术 在企业级生产环境中，由于各种各样的原因，通常会要求对一些组件的参数进行定制化设置，或者需要加载外部配置文件来控制一些组件的行为。目前，Apache Flink 提供了基于配置文件的动态参数配置方式，能够灵活地调整组件运行时的参数。除了参数配置外，Flink 还支持通过 Java API 的形式加载外部模型，例
SpringBoot自动配置原理（每一步都有说明哦）
qq_40842756的博客
09-07 475
SpringBoot自动配置原理 在SpringBoot启动主配置类时，@SpringBootApplication 注解发挥作用进行自动配置。 @SpringBootApplication 注解中，比较重要的有如下两个注解，实际发挥自动配置作用作用的是 @EnableAutoConfiguration 注解 而在@EnableAutoConfiguration 中，@Import导入了一个自动配置选择器类 AutoConfigurationImportSelector。 进入这个自动配置选择器类，可
Flink 动态读取Nacos配置
Mathieu66的博客
06-22 1936
1.需求：实时读取Nacos的配置，打印在控制台 2.额外的依赖： <dependency> <groupId>com.alibaba.nacos</groupId> <artifactId>nacos-client</artifactId> <version>1.4.2</version> </dependency> 代码 很简单,就直接贴了 packa
Flink优化02--状态及Checkpoint调优
Johnson8702的博客
04-07 4012
一、状态简述 Flink的状态分为三种： MemoryStateBackend：默认的方式，即基于JVM的堆内存进行存储，主要适用于本地开发和调试； FsStateBackend：基于文件系统进行存储，可以是本地文件系统，也可以是HDFS等分布式文件凶系统。需要注意，虽然选择使用 FsStateBackend，但是正在进行的数据仍然存储在 TaskManager的内存中，只有在 checkpoint 时，才会将状态快照写入到指定文件系统上； RocksDBStateBackend：Flink内置的第三方状
分享一个Flink checkpoint失败的问题和解决办法
HeapDump性能社区的博客
08-14 2548
本文来自: PerfMa技术社区 PerfMa(笨马网络)官网 接触Flink一段时间了，遇到了一些问题，其中有一个checkpoint失败导致作业重启的问题，遇到了很多次，重启之后一般也能恢复正常，没有太在意，最近2天有同事又频繁遇到，这里记录一下解决方案和分析过程。 我们的flink测试环境有3个节点，部署架构是每个flink节点上部署一个HDFS的DataNode节点，hdfs用于flink的checkpoint和savepoint 现象 看日志是说有个3个datanode活着，文件副本是1，但.
flink checkpoint配置
06-28
在Flink中，可以通过配置来控制Checkpoint的行为，包括Checkpoint的间隔时间、最大并发数、超时时间等。具体的配置可以在Flink的配置文件中进行设置，也可以在应用程序中通过代码进行设置。例如，可以通过以下代码来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值