​Flink 最佳实践——如何设置 Flink Job RestartStrategy（重启策略）？

已于 2022-05-09 11:39:09 修改
阅读量581 收藏 1
点赞数 1
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： java flink 大数据 分布式 spark
于 2021-01-07 08:50:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/112343049
版权
本文介绍了Flink作业中常见的错误导致的重启问题，强调了RestartStrategy的重要性。详细阐述了RestartStrategy的配置，包括FixedDelayRestartStrategy、FailureRateRestartStrategy和NoRestartStrategy，并提供了代码示例。此外，还探讨了Flink的Failover Strategies，分析了full和region两种策略的差异。文章最后提出了对合理配置RestartStrategy的反思，鼓励读者分享自己的最佳实践。
摘要由CSDN通过智能技术生成

点击上方 "zhisheng"关注, 星标或置顶一起成长

Flink 从入门到精通 系列文章

本章将介绍两个最佳实践，第一个是如何合理的配置重启策略，笔者通过自己的亲身经历来讲述配置重启策略的重要性，接着介绍了 Flink 中的重启策略和恢复策略的发展实现过程；第二个是如何去管理 Flink 作业的配置。两个实践大家可以参考，不一定要照搬运用在自己的公司，同时也希望你可以思考下自己是否有啥最佳实践可以分享。

从使用 Flink 到至今，遇到的 Flink 有很多，解决的问题更多（含帮助微信好友解决问题），所以对于 Flink 可能遇到的问题及解决办法都比较清楚，那么在这章就给大家讲解下几个 Flink 中比较常遇到的问题的解决办法。

常见错误导致 Flink 作业重启

不知道大家是否有遇到过这样的问题：整个

了解本专栏 订阅专栏 解锁全文
Flink重启策略
chanyue123的博客
02-11 2988
讲解flink的重启策略
企业级大数据处理实践——基于 Apache Flink
AI天才研究院
08-01 1891
大数据领域正在经历一个百花齐放、草木皆兵的阶段，而Apache Flink作为当下最热门的开源大数据计算框架正在吸引越来越多的企业用户，帮助他们快速构建大数据平台，提升效率和价值。本文将从基础知识出发，通过Flink平台的实践案例，帮助读者搭建起真正可用的企业级大数据平台，并理解其内部运行机制，进而运用到实际工作场景中，有效提升公司效率和产出。
python交易_实战：基于技术分析的Python算法交易
weixin_39520775的博客
11-26 338
译者 | Tianyu本文是用 Python 做交易策略回测系列文章的第四篇。上个部分介绍了以下几个方面内容：介绍了 zipline 回测框架，并展示了如何回测基本的策略导入自定义的数据并使用 zipline评估交易策略的表现这篇文章的目的是介绍如何基于技术分析（TA, Technical Analysis）来创建交易策略。在此引用维基百科的解释，技术分析是指“基于对市场的历史数据、成交价格、交易...
6-Flink重启策略
weixin_34297704的博客
02-27 228
概述 Flink支持不同的重启策略，以在故障发生时控制作业如何重启 集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。 如果在工作提交时指定了一个重启策略，该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。 常用的重启： 1....
flink中的重启策略
lixia0417mul2的博客
01-25 1300
flink的重启策略
(第九弹)Flink——Flink之重启策略
bigdata_player
04-28 556
概述 Flink支持不同的重启策略，以在故障发生时控制作业如何重启。集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。 常用的重启策略有哪些呢？ 固定间隔 (Fixed delay) 失败率 (Failure rate) 无重启 (No restart) 1、如果没有启用 checkpointing，则使用无重启 (no restart) 策...
Flink源码系列——JobManager处理SubmitJob的过程
混混的博客
03-16 6751
接《Flink源码系列——获取JobGraph的过程》，在获取到JobGraph后，客户端会封装一个SubmitJob消息，并将其提交给JobManager，本文就接着分析，JobManager在收到SubmitJob消息后，对其处理逻辑。JobManager是一个Actor，其对接受到的各种消息的处理入口是handleMessage这个方法，其中对SubmitJob的处理入口如下： ove...
Flink大数据处理平台：Flink容错机制——自动重启策略和数据恢复
2301_79367634的博客
09-15 412
当任务失败时，Flink会自动将失败的任务重新分配给其他可用的任务槽，并且会利用保存的检查点（Checkpoint）数据来恢复作业的状态和数据。Flink的检查点机制允许将作业的状态和数据定期保存到持久化的存储系统中，例如分布式文件系统或对象存储。这样，在任务失败时，Flink可以从最近的检查点开始恢复作业的状态，并继续处理数据，以确保数据的完整性。Flink的自动重启策略允许在作业失败时自动重启作业，以便尽快恢复数据处理。同时，Flink还会确保每次检查点保存的数据是精确一次的，以保证数据的一致性。
Flink 重启策略
justlpf的专栏
07-09 830
参考文章：Flink 重启策略 Flink支持不同的重启策略，可以控制在发生故障时如何重新启动作业。可以使用默认重新启动策略启动集群，该策略在未定义任何特定于作业的重新启动策略时始终使用。如果使用重新启动策略提交作业，此策略将覆盖群集的默认设置。 重启(Restart Strategies)策略种类： 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 没有重启策略（No Restart St
Flink笔记(十七)：Flink重启策略
01-07
1.介绍        当介绍 Flink 重启策略时，就必须要先介绍一下 State、StateBackend、CheckPointing 这三个概念。 1.1 State 状态        Flink 实时计算程序为了保证计算过程中，出现异常可以容错，就要将中间的计算结果数据存储起来，这种中间数据就叫做State。        State 可以使多种类型的，默认是保存在 JobManager 的内存中，也可以保存在 本地文件系统 或者 HDFS 分布式文件系统中。 1.2 StateBackend        用来保存 State 的存储后端就叫做StateBackend。State
用Python进行方差分析，代码详解
03-17
用Python进行方差分析，代码详解
Flink的重启策略
qq_32486597的博客
03-19 9169
Flink重启策略
flinksql重启job
最新发布
09-27
Apache Flink SQL是一个基于SQL的数据处理语言，用于Flink流处理和批处理引擎。如果你想在Flink SQL环境中重启Job（任务），通常有两种情况： 1. **对于已提交的作业（Job Submission）**：如果你之前已经通过`CREATE TABLE`语句或`INSERT INTO`语句创建了一个表，然后使用`INSERT INTO`或者Flink SQL API提交了一个作业，那么作业一旦失败，你需要使用Flink的API来重启，比如使用`restartPipeline()`或`executeSql(sql)`后再次提交相同的SQL语句。这会触发新的作业实例。 ```python // 示例，假设你有一个名为myTable的表 env.executeSql("INSERT INTO myTable SELECT * FROM source") # 或者 env.restartPipeline() ``` 2. **对于Flink历史服务器（History Server）**：如果你启用了Flink的历史服务器并且开启了JobManager的持久化，你可以通过Flink历史服务器界面查看并手动重启某个Job。找到失败的任务ID，然后选择“Restart”操作。 - 在web UI中：导航到"Jobs" > "Failed Jobs"，选中失败的任务，点击“Restart”。 请注意，重启作业并不保证数据完整性，因为每个新实例是从上次提交的状态开始的。如果有事务或状态保存的需求，建议在设计时考虑容错机制，如使用Checkpoint或Savepoint功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值