【FLink】Flink 任务 如何优雅的停止

最新推荐文章于 2024-12-09 10:54:31 发布
最新推荐文章于 2024-12-09 10:54:31 发布
阅读量4.5k 收藏
点赞数
分类专栏： 2025最新-大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124719051
版权
2025最新-大数据-flink 专栏收录该内容
854 篇文章 873 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了在Flink中如何优雅地停止任务，避免暴力关闭导致的问题。正确的方法包括通过UI界面、命令行或远程地址调用停止命令，并在关闭前提交offset和处理缓存数据。此外，还讨论了在不同模式下(Flink per-job和yarn-session)调用cancel方法的影响。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

在进行测试的时候，发现就是yarn-per job 模式运行flink ,然后使用yarn api 调用Yarn关闭flink任务，直接 yarnClient.killApplication(ApplicationId)方法，然后发现没有调用flink function的 close方法。

但是如果手动到flink ui 界面先cancel，然后在调用关闭方法，就会执行close方法

难道yarn close方法 是直接干掉了 容器，都不给flink反应时间？

后来验证是我们关闭方式太暴力了。

yarnClient.killApplication(ApplicationId)
了解本专栏 订阅专栏 解锁全文
优雅停止大数据任务：Flink任务的优雅停止方式
JieLun_C的博客
09-18 1224
当我们在使用Flink执行大规模数据处理任务时，我们经常需要考虑如何优雅地停止任务，以确保数据的完整性和任务的正确性。通过使用取消任务和保存点的方法，我们可以实现优雅停止大数据任务。取消任务可以立即停止任务的执行，而保存点可以使我们在以后的某个时间点恢复任务的执行。保存点是Flink在任务执行期间创建的一种状态快照，可以用于恢复任务的执行。我们可以使用保存点来优雅地停止任务，并在以后的某个时间点恢复任务的执行。该方法会发送一个取消信号给任务管理器，任务管理器将停止任务的执行。方法来取消任务的执行，并使用。
如何停止flink 正在运行的任务
阿尼古
03-22 1万+
两种方式,在standalone和on yarn集群中都是适用的 1：在ui界面停止 2：在命令行停止 注意：其实在公司做过开发的都会很清楚，有些权限是没有的，并且权限控制贼严格，所以界面上停止基本上可以pass掉了，因为好多界面上压根就没有。但是在此还是说一下吧。图是借的，，，哈哈... 在ui界面停止 假设已经成功提交到集群一个任务，查看集群webui界面 在命令行停止： ...
flink终止提交给yarn的任务
最新发布
core815的专栏
12-09 403
flink终止提交给yarn的任务
如何停止flink job
热门推荐
大数据技术博客
04-01 1万+
两种方式,在standalone和on yarn集群中都是适用的1：在ui界面停止2：在命令行停止在ui界面停止假设已经成功提交到集群一个任务，查看集群webui界面在命令行停止：先查询目前在运行的job任务列表执行bin/flink list命令，发现有一个正在运行的job使用cancel命令进行停止，指定刚才查询到的job id。...
停止Flink任务
an7800666的博客
09-05 1913
1.简单粗暴 控制台中Ctrl+C 2.UI中点击"Cancel" 3.执行cancel命令，需要知道Flink的Job ID # flink cancel jobId 转载于:https://www.cnblogs.com/liugh/p/7478378.html...
flink任务提交,查询,停止工具
czladamling的博客
11-21 2188
因项目，需要在spring boot后台项目中集成flink任务提交，查询之类的功能，所有有了这个项目这个项目，可以通过java api的形式，帮助你提交，查询，暂停flink任务，也可以构建和关闭flink yarn session集群。主要通过restful接口和构建jobGraph实现。
Flink 停止 job 的方式（stop 和 cancel）
杜海的博客
10-20 1万+
1.Stop 方式 后边跟的任务id 是flink的任务ID，不是yarn的 flink stop -m 127.0.0.1:8081 357591171dfcca2eea09de 注：stop方式停止任务对 source 有要求，source必须实现了StopableFunction接口，才可以优雅的停止job /** * 需要能 stoppable 的函数必须实现这个接口，例如流式任务的 source。 * stop() 方法在任务收到 STOP 信号的时候调用。 * source 在接收到
Flink停止任务并保存savepoint
xiaozhaoshigedasb的博客
04-15 3433
线上作业会有需求需要改动的时候， 希望不要丢失数据的进行需求迭代。注意：这中线上的任务迭代最好在数据量低谷的时候进行，对任务造成的影响最小。 需要用到一下命令： flink取消任务并保存savepoint flink cancel -s hdfs:///flink/flink-savepoints/20210326/11 【flink-job-id】 -yid 【application-id】 再次执行启动，加上savepoint地址： flink run \ -d \ -p 20 \
通过 命令 操作flink on yarn 如何优雅的停止flink任务
07-28
其中，`application_XXXX_YY`是Yarn应用程序的ID，`<jobId>`是Flink任务的ID。这个命令将取消指定的任务，并停止整个集群。 在per-job模式下，可以使用以下命令停止任务： ``` ./bin/flink cancel -t yarn-per-job...
Flink stop 和 cancel停止 job 的区别
yang灬仔
06-28 3387
Flink stop 和 cancel停止 job 的区别
FAQ：Flink集群用stop-cluster.sh无法关闭
lixinkuan的博客
03-31 1271
一、问题描述：Flink运行一段时间后，通过命令./stop-cluster.sh无法正常关闭 提示：No taskexecutor daemon to stop on host xxx. No standalonesession daemon to stop on host xxx. jps查看进程发现：flink进程启动，8081端口可以正常访问，后台进程都在。 二、原因分析：进程的PID目录容易被系统清除 查看FLINK_HOME/bin/目录的config.sh文件，指定...
Flink集群无法关闭
博客
08-01 3605
一、问题描述： Flink运行一段时间后，通过命令： bin/stop-cluster.sh 无法正常关闭，提示： No taskexecutor daemon to stop on host xxx. No standalonesession daemon to stop on host xxx. 二、flink集群部署模式： standalone 三、排查： jps查看进程发现：flink进程启动，8081端口可以正常访问。 查看FLINK_HOME/bin/目录的config.s
以yarn-sessoin.sh -d参数启动的flink怎么关闭
qq_44387668的博客
04-03 1539
请注意，如果您使用了 -d 参数启动 Flink 集群，它将在后台运行，因此您需要通过以上命令显式停止它。如果您使用 yarn-session.sh 而不是 yarn-session.sh -d 启动 Flink 集群，则可以通过按下 Ctrl+C 或使用 yarn application -kill 命令来关闭它。您可以在 Flink Web UI 或 Flink 客户端日志中找到 Job ID。将 替换为您在第一步中找到的 Flink 应用程序的 Application ID。
关闭 Flink Checkpoint，引发 P3 故障
http://www.54tianzhisheng.cn/
11-10 1188
记录一个比较有意义的故障，没遇到的可以避坑，已经被坑过的只能握手????了。背景因阿里云提示机器有故障，会在第二天早高峰自动重启，按照之前运维操作，提前做好通知后，在集群非高峰期将机器踢出集群。踢出集群时该机器上运行的 TaskManager Pod 会挂掉，Flink 会在其他正常机器上申请新的 TaskManager 运行，期间会有任务的 failover。操作后 10 来分钟看到公司大群有值班同事...
flink on yarn
zhangkai0575的博客
12-19 661
在flink on yarn模式中 flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方...
flink on yarn任务迁移
第一片心意的博客
12-31 1376
迁移flink on yarn任务到新集群。
Flink代码kill掉yarn任务，并且实现自动savepoint。
qq_31866793的博客
09-16 3704
一，最近在做平台，就是前后端分离的项目，简单的说就是对各种组件整合一下子，所以呢，提交任务啥的都在平台上搞了。 二，这里实现的功能很简单吧。就是代码模式，执行任务就可以kill掉yarn上的Flink任务。并且能自动生成savapoint 三，我们需要写入的参数是： 1）yarn任务id String appId = "application_1600222031782_0023"; 2）Flink任务的jobId String jobid = "c4d7e2ff6a35d4...
Flink集群用stop-cluster.sh无法关闭
杜海的博客
12-24 1776
一、问题描述：Flink运行一段时间后，通过命令./stop-cluster.sh无法正常关闭 提示： No taskexecutor daemon to stop on host xxx. No standalonesession daemon to stop on host xxx. jps查看进程发现：flink进程启动，8081端口可以正常访问，后台进程都在。 二、原因分析：进程的PID目录容易被系统清除 查看FLINK_HOME/bin/目录的config.sh文件，指定/tmp...
Win10下flink任务的提交运行和取消
四国棋客
12-12 1283
背景 最近开始抽空学习flink，这是一个实时流计算的框架 项目打包 先把任务项目打成jar包，在pom.xml文件里加入如下代码，添加打包插件 <plugin> <groupId>net.alchim31.maven</groupId> <artifactI...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值