Flink运行任务中，出现节点挂掉的现象--已解决

最新推荐文章于 2023-08-08 17:46:50 发布
最新推荐文章于 2023-08-08 17:46:50 发布
阅读量5.3k 收藏 1
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43655417/article/details/96970131
版权

Flink App抛出The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed.此类异常，通过查看日志，一般就是某一个Flink App内存占用大，导致TaskManager（在Yarn上就是Container）被Kill掉。如果代码写的没问题，就确实是资源不够了，其实1G Slot跑多个Task（Slot Group Share）其实挺容易出现的。因此有两种选择。可以根据具体情况，权衡选择一个。

将该Flink App调度在Per Slot内存更大的集群上。
通过slotSharingGroup("xxx")，减少Slot中共享Task的个数
贼帅的阿佑
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink taskmanager因节点宕机失效或进程异常导致的报警处理
wangyueshu的博客
02-03 1667
flink的taskmanager的端口占用情况是动态分配的，因此在promethues的监控targets配置也采用了脚本动态拉取更新： 1. 先连接zookeeper，查看flinkNodes的注册信息，获取ip节点信息 2. 登录节点，通过jps获取活跃taskmanager的端口号。 3. 生成flink的targets监控目标配置文件。 于是： 处理节点宕机失效的taskmanager报警： 1. 登录zookeeper服务器，进入zookeeper安装目录，执行 sh zkCl.
Flink 测试运行，遇到的GC跟taskmanager挂掉问题
qq_31866793的博客
06-11 3004
1，出现这个，因为代码写的是Json类型，算子与算子之间下发json对象，没有序列化，都改成pojo实现序列化，可以减轻内存消耗 2，因为有个业务是全量统计，会存储历史状态，所以内存要设置大一点，设置 RocksDBStateBackend存储，设置TTL，之前可能压力测试3个小时TM就死了，再次测试 超过十几个小时任务都还比较稳定 3，安装JVM工具监控JVM的情况，并且在conf文件配置参数 env.java.opts: -Xloggc:/wyyt/logs/flink-1.10.0..
FlinK运行一段时间后任务任务自己挂掉的问题排查
热门推荐
梦想成真那天
07-10 1万+
最近在做自定义实时报表,由于在前期测试Flink发现Flink拥有比较好的性能,并且天然支持窗口,所以在实时计算的时候,我们选择Flink在做计算框架.在所有的代码完成,代码准备上线的时候,发现Flink程序运行一段时间后,要么自己直接挂掉要么过一段时间,程序从checkpoint恢复.在排查日志的过程中,程序中并没有什么异常报出,最终排查每个taskManager的日志发现在其中一个TaskMa...
Flink(Standalone)在运行过程中节点突然挂掉
Lzp950504的博客
03-13 3738
Flink(Standalone)在运行过程中节点突然挂掉 Flink运行当中突然发现TaskManager全部挂掉，Slots数量为0。当重启TaskManager后，再次出现节点依次挂掉。 在查看日志和排查的时候发现Kafka中存在引起程序异常的数据，由于重启策略会导致程序不断地重启。 搜索相关资料的时候并未有因为程序重启导致Flink节点挂掉的情况，于是做了一个测试，将重启间隔设置为10s，...
Flink运行一段时间后挂掉
weixin_59295776的博客
07-28 260
备注:我们Flink 使用的是1.4.0的版本. 所以我们为了稳定,放弃了使用RockDbStateBackEnd改用FsStatebackEnd程序目前没有报出内存泄露的问题.运行良好.
Flink使用Rocksdb状态后端任务运行一段时间后挂掉
一个不安分的程序员
04-11 2933
问题描述： 由于需要存储大量状态信息，在使用Flink Sql开发实时计算作业时配置RocksDB做为状态后端， 任务起初运行良好，运行一段时间后有任务偶发性出现失败，（使用yarn logs -applicaitonId）查看作业日志发现以下异常信息： org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Connection unexpectedly closed by remote task m
Flink的checkpoint配置详解
worldchinalee的博客
07-31 6580
实例： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // start a checkpoint every 1000 ms env.enableCheckpointing(1000); // advanced options: // set mode to exactly-once (this is the default) env.getCheckpointConfig()
flink 高可用 high-availability 配置的重试次数无效问题
云想慕尘的专栏
07-02 2834
问题背景 我根据这篇博客https://blog.csdn.net/cndotaci/article/details/106870413的介绍，配置了flink基于yarn的高可用，测试时发现配置的任务失败重试2次没有生效，我测试到第6次时，任务仍然能够被yarn拉起 如上图，除第一次手动启动外，下面的5次都是yarn的HA生效自动拉起。 那么，下面配置中的重试次数为什么没有生效？ flink版本：1.10.0 flink-conf.yaml配置： $ grep -v ^# flink-conf.yaml
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
flink-1.14.0-bin-scala_2.11.tgz
07-18
描述中同样提到了“flink-1.14.0-bin-scala_2.11.tgz”，这意味着下载的压缩包包含了 Flink 的二进制版本，适合快速部署和运行。二进制版本通常包含所有必需的可执行文件和库，可以直接在支持的环境中运行，无需进行...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip
05-27
`flink-shaded-hadoop-2-uber-2.7.5-10.0.jar` 文件的出现，主要是为了解决依赖冲突问题。在多库依赖的项目中，不同库可能包含相同的依赖，但不同版本，这可能导致运行时的类加载问题。Uber JAR 将所有依赖重打包，...
flink-table-planner-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-table-planner_2.12-1.14.3.jar 赠送原API文档：flink-table-planner_2.12-1.14.3-javadoc.jar 赠送源代码：flink-table-planner_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-table-...
flink任务失败导致yarn宕机的排查
sunlang的博客
03-24 1233
一，定位内存使用情况 跟踪02节点上nodemanager的日志 这个其实就是flink任务的jobManager的内存情况 另外一个01上的日志 这个就是flink任务的taskManager的内存情况 暂时没有问题，任务正常，yarn正常 这是因为本次提交增大了jobManager的内存，之前提交的时候只有1g内存，导致出现任务失败，yarn宕机 ...
Flink1.12 - 1.13 高可用遇到的bug
Sonnie0000001的博客
07-14 272
1.application mode 提交: 任务id 00000000000000000 id没有hash 后续没办法起两个jobMster 2.yarn-session 提交 -t yarn-application 不能用 得去掉才可以用 目前官方还没解决。
Flink On Yarn container频繁被Kill
淡定一生2333的博客
08-09 2301
Q3经验案例 将Flink Job提交到Yarn上运行，命令行中指定：-p 3 –yts 1，那么便会启动一个拥有3个TaskManager的Flink集群，在Yarn中对应的就是3个container。 但是运行一段时间后发现其中某个Container会反复重新启动，如下图所示，Container的编号都到49了： 从TaskManager的Flink WebUi界面点击进去，查询到对应的Container的日志文件位置，在文件中找到了如下内容，发现Container被Kil...
Yarn平滑下线节点（Graceful Decommission）
u011250186的博客
08-08 174
Yarn平滑下线节点（Graceful Decommission）
工作述职报告PPT模板 (25)
最新发布
07-12
【作品名称】：工作述职报告PPT模板 (25) 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
flink TM节点cancel任务内存未被清空应该如何解决
06-09
如果在 Flink 任务管理器节点（Task Manager）取消执行任务后，任务的内存未被清空，这可能是由于一些异常情况导致的。为了解决这个问题，可以尝试以下几个步骤： 1. 重启任务管理器节点（Task Manager），这将清空节点的内存并重新启动 Flink 任务。 2. 检查任务的代码和配置是否存在问题，例如任务是否有内存泄漏等问题。可以使用一些内存分析工具来辅助检查。 3. 增加任务管理器节点的内存资源，这将减少任务因内存不足而导致的问题。 4. 使用 Flink 的状态后端（State Backend）来持久化任务的状态和数据，以防止任务在取消执行后失去数据。可以选择将状态后端配置为将状态存储在本地文件系统或外部存储系统中。 如果以上方法都无法解决问题，建议联系 Flink 社区或相关技术支持团队获取更多帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值