如何设置 Flink Job RestartStrategy（重启策略）？

最新推荐文章于 2023-12-10 02:35:56 发布
最新推荐文章于 2023-12-10 02:35:56 发布
阅读量574 收藏
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728658
版权
本文详细介绍了Flink Job的常见重启错误及如何配置RestartStrategy，包括FixedDelayRestartStrategy、FailureRateRestartStrategy、NoRestartStrategy和Fallback策略。讨论了为何需要RestartStrategy以保证Job稳定性，并分析了RestartStrategy的源码。最后提到了Failover Strategies的全任务重启和基于Region的局部故障重启策略。
摘要由CSDN通过智能技术生成

从使用 Flink 到至今，遇到的 Flink 有很多，解决的问题更多（含帮助微信好友解决问题），所以对于 Flink 可能遇到的问题及解决办法都比较清楚，那么在这章就给大家讲解下几个 Flink 中比较常遇到的问题的解决办法。

Flink Job 常见重启错误

不知道大家是否有遇到过这样的问题：整个 Job 一直在重启，并且还会伴随着一些错误（可以通过 UI 查看 Exceptions 日志），以下是笔者遇到过的一些问题截图：

其实遇到上面这种问题比较常见的，比如有时候因为数据的问题（不合规范、为 null 等），这时在处理这些脏数据的时候可能就会遇到各种各样的异常错误，比如空指针、数组越界、数据类型转换错误等。可能你会说只要过滤掉这种脏数据就行了，

了解本专栏 订阅专栏 解锁全文
​Flink 最佳实践——如何设置 Flink Job RestartStrategy（重启策略）？
http://www.54tianzhisheng.cn/
01-07 581
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章本章将介绍两个最佳实践，第一个是如何合理的配置重启策略，笔者通过自己的亲身经历来...
Flink 重启策略和故障恢复策略
主要分享大数据相关的知识，如Spark、Hudi
06-24 317
主要总结 Flink 重启策略。
Flink笔记(十七)：Flink重启策略
01-07
1.介绍        当介绍 Flink 重启策略时，就必须要先介绍一下 State、StateBackend、CheckPointing 这三个概念。 1.1 State 状态        Flink 实时计算程序为了保证计算过程中，出现异常可以容错，就要将中间的计算结果数据存储起来，这种中间数据就叫做State。        State 可以使多种类型的，默认是保存在 JobManager 的内存中，也可以保存在 本地文件系统 或者 HDFS 分布式文件系统中。 1.2 StateBackend        用来保存 State 的存储后端就叫做StateBackend。State
【Flink读写外部系统】Flink重启策略/配置重启策略
大白
05-19 2472
目录重启策略配置重启策略 重启策略 Flink何时才会重启？ 一个拥有检查点的应用如果出现问题，他会经过一些列步骤来进行重启。 重启过程中可能会出现的问题? 有些时候，应用可能会被相同的故障不断“杀死” 举例：   当我处理数据的时候程序出现了Bug，导致处理算子出现异常，此时程序就会陷入一个循环中：   启动任务、恢复状态、继续处理。 在继续处理的时候，由于这个Bug没有被修复，然后   启动任务、恢复状态、继续处理。 类似于这样周而复始    … … Q：问题君来了，这里面的“启动任务”我是知道的.
Flink Job重启/Task恢复策略简介
hellojoy的博客
12-20 8663
前言 流式计算对稳定性敏感，所以我们在编写作业时一定会做好防御性编程，如各种判空、边界条件、安全的类型转换、格式判断、异常捕获等。但是墨菲定律说得好： Anything that can go wrong will go wrong. 换言之，我们写再多的防御性代码，也无法覆盖所有非法数据的可能性，何况外部环境（网络、磁盘等）也会出现不可预知的波动，所以作业在遇到意外情况时最好能自己“复...
flink的RestartStrategy重启策略让你的程序更加健壮
weixin_45896475的博客
03-06 953
Flink的Restartstrages重启策略让你的程序更加健壮 意义 env.setRestartStrategy函数的意思是重启策略,当然这个函数并不是真正的让你的程序重启,反而是为了让你的程序避免重启,当我们在程序里设置了只接接受int类型的数据,我们偏偏给他传入一个double类型的数据,孱弱的程序会瞬间以内无法解析而废掉,但是我们在程序当中传入了.setRestartStrategy函...
Flink基础学习笔记（四）Checkpoint与重启策略
weixin_37172178的博客
12-10 1452
Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。检查点的两种实现：（1）检查点算法的简单实现–暂停应用，保存状态到检查点，在重新恢复应用（2）Flink基于检查点算法的优化实现–基于Chandy-Lamport算法的分布式快照，将检查点的保存和数据分开处理，不需要暂停整个应用，这里引入State Backend的概念。
Flink实战案例（十四）:Flink的重启策略
微信搜：import_bigdata，大数据领域硬核原创作者
01-20 1052
Flink的重启策略 Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使用，而如果Job提交的时候指定了重启策略，这个重启策略就会覆盖掉集群的默认重启策略。 概览 默认的重启策略是通过Flink的flink-conf.yaml来指定的，这个配置参数restart-strategy定义了哪种策略会被采用。如果checkpoint未启动，就会采用no restart策略，如果启动了checkpoin...
Flink 任务失败重启与恢复策略
SmartSi
08-21 2591
当任务失败时，Flink 需要重新启动失败的任务以及受到影响的任务，以将作业恢复到正常状态。重新启动策略和故障恢复策略用于控制任务重新启动。重新启动策略决定了是否以及何时重新启动失败/受影响的任务。故障恢复策略决定应重新启动哪些任务以恢复作业。
Flink的重启策略（RestartStrategy）实战
启迪思维，精进技术
07-28 4126
前言 flink的 RestartStrategy 作用是什么？ 一句话概括，提升任务健壮性和容错性，保证任务可以实时产出数据。 设置重启策略和公司处理数据业务需求有很大的关系，根据不同的业务需求设置处理任务的不同策略。 其实遇到上面这种问题比较常见的，比如有时候因为数据的问题(不合规范、为 null 等)，这时在处理这些脏数据的时候可能就会遇到各种各样的异常错误，比如空指针、数组越界、数据类型转换错误等。可能你会说只要过滤掉这种脏数据就行了，或者进行异常捕获就不会导致 Job 不断重启的问题了。 所以日常
【flink】Task 故障恢复详解以及各重启策略适用场景说明
hiliang521的博客
11-02 2067
【flink】Task 故障恢复详解以及各重启策略适用场景说明
Flink技术内幕——作业调度
京河小蚁的博客
07-01 433
这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态。Flink 通过 Task Slots 来定义执行资源。每个 TaskManager 有一到多个 task slot，每个 task slot 可以运行一条由多个并行 task 组成的流水线。 这样一条流水线由多个连续的 task 组成，比如并行度为 n 的 MapFunction 和 并行度为 n 的 ReduceFunction。需要注意的是 Flink 经常并发执行连续的 task，不仅在流式作业中到处
微信小程序开发中的相关记录
Nihuanirre的博客
04-15 448
微信小程序开发中的相关记录
Flink Job重启与Task恢复策略简介
LittleMagic's Blog
12-22 2108
前言 流式计算对稳定性敏感，所以我们在编写作业时一定会做好防御性编程，如各种判空、边界条件、安全的类型转换、格式判断、异常捕获等。但是墨菲定律说得好： Anything that can go wrong will go wrong. 换言之，我们写再多的防御性代码，也无法覆盖所有非法数据的可能性，何况外部环境（网络、磁盘等）也会出现不可预知的波动，所以作业在遇到意外情况时最好...
flink任务失败restart策略和failover策略
赶路人儿
01-06 6550
一、restart策略 Flink在任务失败恢复重启时支持多种重启策略，同时配置支持两个级别，可以通过设置flink全局配置文件flink-conf.yaml来指定全局重启策略，也可以通过编程的方式指定单个job的重启策略，极端情况下可以为每一个任务都指定一个重启策略；一般情况下，编程方式指定的单个job重启策略会将全局策略覆盖。 在检查点机制未开启的情况下，flink默认会采取No Restart Strategy策略，即失败不重启；在检查点机制开启状态下，默认会采取Fixed Delay Resta
python交易_实战：基于技术分析的Python算法交易
weixin_39520775的博客
11-26 338
译者 | Tianyu本文是用 Python 做交易策略回测系列文章的第四篇。上个部分介绍了以下几个方面内容：介绍了 zipline 回测框架，并展示了如何回测基本的策略导入自定义的数据并使用 zipline评估交易策略的表现这篇文章的目的是介绍如何基于技术分析（TA, Technical Analysis）来创建交易策略。在此引用维基百科的解释，技术分析是指“基于对市场的历史数据、成交价格、交易...
flink重启策略配置和raw state demo
epitomizelu的专栏
06-06 588
package flink.status; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.common.state.ListState; import org.apache.flink.api.common.state.ListStateDescriptor; import org.apache.flink.api.common.state.StateDes
Flink的重启策略
vincent_duan的专栏
10-17 268
Flink的重启策略 Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使用，而如果Job提交的时候指定了重启策略，这个重启策略就会覆盖掉集群的默认重启策略。 概览 集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时，会使用该默认重启策略，如果在工作提交时指定了一个重启策略，那么该策略会...
微信小程序常用知识点
weixin_48429986的博客
09-14 1270
微信小程序 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dEpb5tol-1600061439777)(C:\Users\86183\AppData\Roaming\Typora\typora-user-images\image-20200629113215495.png)] 应用程序主流架构 前端面向客户，前端向后端发送http请求，获取数据 前端分为pc端（桌面应用=>基于操作系统，web应用=>通过浏览器显示），移动端（h5，原生APP，基于app的二
Flink有哪些重启策略？各个重启策略如何配置
最新发布
12-08
Flink提供了多种重启策略，以应对任务失败或需要重启的场景。以下是几种常见的重启策略及其配置方法： 1. **固定延迟重启策略（Fixed DelayRestartStrategy）**： - **配置方式**： ```yaml restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10s ``` - **说明**：该策略会在固定的时间间隔内进行多次重启尝试。每次重启之间有一个固定的延迟时间。 2. **失败率重启策略（FailureRateRestartStrategy）**： - **配置方式**： ```yaml restart-strategy: failure-rate restart-strategy.failure-rate.max-failures-per-interval: 3 restart-strategy.failure-rate.failure-rate-interval: 5min restart-strategy.failure-rate.delay: 10s ``` - **说明**：该策略在一定时间间隔内允许的最大失败次数。如果在指定的时间间隔内失败次数超过限制，则不再重启。 3. **无重启策略（NoRestartStrategy）**： - **配置方式**： ```yaml restart-strategy: none ``` - **说明**：该策略不会进行任何重启操作，任务失败后会直接停止。 4. **指数延迟重启策略（ExponentialDelayRestartStrategy）**： - **配置方式**： ```yaml restart-strategy: exponential-delay restart-strategy.exponential-delay.delay: 10s restart-strategy.exponential-delay.max-delay: 60s restart-strategy.exponential-delay.random-factor: 0.5 ``` - **说明**：该策略会根据失败的次数逐渐增加重启的延迟时间，最大延迟时间有一个上限。 5. **自定义重启策略（CustomRestartStrategy）**： - **配置方式**： ```java RestartStrategies.customRestartStrategy(FixedDelayRestartStrategyConfiguration configuration) .withMaxAttempts(3) .withDelay(Duration.ofSeconds(10)) .build(); ``` - **说明**：用户可以自定义重启策略，通过编程方式进行配置。 这些重启策略可以根据具体的应用场景和需求进行选择和配置，以确保Flink任务的稳定性和可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值