宕机一台机器，结果一百多个 Flink 作业挂了

已于 2022-05-09 11:36:36 修改
阅读量1.4k 收藏
点赞数 1
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： java 大数据 flink kafka 分布式
于 2021-11-14 18:31:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/121326550
版权
本文讲述了由于宕机导致Flink作业failover的问题，分析了由于RPC消息大小超过Akka framesize上限造成的问题，并提供了通过增大配置参数解决此类故障的方法。
摘要由CSDN通过智能技术生成

背景

因宕机了一台物理机器，实时集群不少作业发生 failover，其中大部分作业都能 failover 成功，某个部门的部分作业一直在 failover，始终未成功，到 WebUI 查看作业异常日志如下：

2021-11-09 16:01:11
java.util.concurrent.CompletionException: java.lang.reflect.UndeclaredThrowableException
 at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:273)
 at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:280)
 at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1592)
 at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
 at java.util.concurrent.FutureTask.run(FutureTask.java:266)
 at java.util.concurrent.ScheduledThreadPoolExecutor$Sche
了解本专栏 订阅专栏 解锁全文
如何使用 Flink ProcessFunction 处理宕机告警?
http://www.54tianzhisheng.cn/
09-22 390
ProcessFunction 介绍 在 1.2.5 节中讲了 Flink 的 API 分层，其中可以看见 Flink 的底层 API 就是 ProcessFunction，它是一个低阶的流处理操作，它可以访问流处理程序的基础构建模块：Event、State、Timer。ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。...
Flink程序部署与提交
最新发布
SunnyRivers
08-16 465
我们看门见山，生产环境一般用的是在YARN上面采用应用模式进行部署flink程序。实际生产中一般需要和资源管理平台（如YARN）结合起来，选择特定的模式来分配资源、部署应用。
Flink高可用集群部署
10-09
系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0
Flink 大规模作业调度性能优化
Ververica的博客
01-09 749
摘要：本文作者洪志龙（柏星）& 朱翥（长耕），分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括：性能测评结果...
Flink UI task manager 少一台
东城庞太师
04-08 406
问题：Flink UI界面的task manager少一台。 原因：kafka的node01挂掉。 解决：依次找原因 1.清理磁盘空间 cd /var/lib/cloudera-service-monitor/ts rm -rf ts_* rm -rf stream rm -rf type cd /var/lib/cloudera-host-monitor/ts rm -rf ts_* rm -rf stream rm -rf type 2.执行命令重启cloudera-scm-a
Flink 测试运行，遇到的GC跟taskmanager挂掉问题
qq_31866793的博客
06-11 3112
1，出现这个，因为代码写的是Json类型，算子与算子之间下发json对象，没有序列化，都改成pojo实现序列化，可以减轻内存消耗 2，因为有个业务是全量统计，会存储历史状态，所以内存要设置大一点，设置 RocksDBStateBackend存储，设置TTL，之前可能压力测试3个小时TM就死了，再次测试 超过十几个小时任务都还比较稳定 3，安装JVM工具监控JVM的情况，并且在conf文件配置参数 env.java.opts: -Xloggc:/wyyt/logs/flink-1.10.0..
flink数据源不稳定导致宕机问题
song_quan_的博客
04-11 1677
flink应用数据源不稳定导致程序宕机_zhou_zhao_xu的博客-CSDN博客_flink不稳定错误异常日志org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategyat org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionF
flink单点部署宕机
01-10
单点部署指的是将Flink的所有组件（如JobManager和TaskManager）都部署在同一台机器上。 在单点部署中，如果Flink的JobManager宕机，那么整个作业将停止运行。因为JobManager负责接收和调度作业，并协调TaskManager...
[Flink]一、Flink1.13
weixin_44428807的博客
07-01 1237
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
Flink的checkpoint配置详解
worldchinalee的博客
07-31 6716
实例： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // start a checkpoint every 1000 ms env.enableCheckpointing(1000); // advanced options: // set mode to exactly-once (this is the default) env.getCheckpointConfig()
【Flink】Flink任务缺失Jobmanager日志的问题排查
Meepoljd的博客
11-15 2126
问题不是大问题，不是什么代码级别的高深问题，也没有影响任务运行，纯粹因为人员粗心导致，记录一下排查的过程。
flink任务失败导致yarn宕机的排查
sunlang的博客
03-24 1280
一，定位内存使用情况 跟踪02节点上nodemanager的日志 这个其实就是flink任务的jobManager的内存情况 另外一个01上的日志 这个就是flink任务的taskManager的内存情况 暂时没有问题，任务正常，yarn正常 这是因为本次提交增大了jobManager的内存，之前提交的时候只有1g内存，导致出现任务失败，yarn宕机 ...
【Flink】源码-Flink重启策略-简介 Task恢复策略 重启策略监听器
九师兄
07-01 753
2. 概述 ​ Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使用，而如果Job提交的时候指定了重启策略，这个重启策略就会覆盖掉集群的默认重启策略。 Flink支持不同的重启策略，以在故障发生时控制作业如何重启 集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。 如果在工作提交时指定了一个重启策略，该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink .
Flink standalone集群问题记录
LeoGanlin的博客
05-11 2304
Flink standalone集群问题记录
30、Flink 的故障恢复详解
猫猫爱吃小鱼粮
05-14 1763
Flink 的故障恢复详解
Flink运行异常：节点丢失导致容器释放
学习使你进步。
08-28 385
然而，在某些情况下，由于网络问题、硬件故障或其他原因，节点可能会意外丢失，导致与该节点相关的容器也会被释放掉。通过检查网络连接、处理硬件故障以及配置适当的容错机制，我们可以解决这个问题并确保Flink作业的稳定运行。可以通过配置Flink的作业管理器（JobManager）和任务管理器（TaskManager）的高可用性选项来确保在节点丢失时能够自动恢复。检查网络连接：首先，确保集群中的各个节点之间的网络连接是正常的。检查硬件故障：如果网络连接正常，但仍然出现节点丢失的情况，可能是由于硬件故障引起的。
flink的state、checkpoint和重启策略
xuehuagongzi000的博客
02-15 767
State的作用 state是Flink程序某个时刻某个task/operator的状态，state数据是程序运行中某一时刻数据结果。首先要将state和checkpoint概念区分开，可以理解为checkpoint是要把state数据持久化存储起来，checkpoint默认情况下会存储在JoManager的内存中。checkpoint表示一个Flink job在一个特定时刻的一份全局状态快照，...
Flink 任务失败重启与恢复策略
SmartSi
08-21 2591
当任务失败时，Flink 需要重新启动失败的任务以及受到影响的任务，以将作业恢复到正常状态。重新启动策略和故障恢复策略用于控制任务重新启动。重新启动策略决定了是否以及何时重新启动失败/受影响的任务。故障恢复策略决定应重新启动哪些任务以恢复作业。
flink 一个topic可以分多个作业吗
06-09
一个topic的数据可以被多个不同的Flink作业消费和处理，每个作业可以根据需求选择不同的算子进行数据处理。这种方式可以实现更加细粒度的数据处理，同时也可以提高作业的可维护性和可扩展性。但是需要注意，如果多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值