【Flink】Flink Recovered containers from previous attempts

最新推荐文章于 2024-09-23 15:26:22 发布
最新推荐文章于 2024-09-23 15:26:22 发布
阅读量285 收藏 1
点赞数
分类专栏： 大数据-flink 文章标签： flink 大数据 big data
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/122459932
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了一个Flink任务因缺少资源而无法启动的问题，关注点在于ApplicationMaster的日志提示containersFromPreviousAttempts为空。分析源码发现，这涉及到YARN资源管理器的注册和worker恢复过程。scheduleWorkerRegistrationTimeoutCheck方法用于检查worker注册超时，如果containersFromPreviousAttempts为空，可能意味着任务首次运行，需重新申请所有container。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

一个flink任务一直无法启动起来，然后看日志有如下 Flink Recovered containers from previous attempts，怀疑这是 ApplicationMaster 没资源 没跑起来吗？

具体如下
在这里插入图片描述
根据这个找打相关日志源码

 private void getContainersFromPreviousAttempts(
            final RegisterApplication
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
flink1.13报错：The file STDOUT does not exist on the TaskExecutor
海若_matrix的博客
08-30 5125
该报错主要是找不到STDOUT文件,原因是程序中没有sout输出，当你去web-ui点击stdout目录，就会报一个这儿样的接口请求错误，并不影响程序运行，可忽略。2.如果没有sout输出，不要点击stdout目录。1.修复flink runtime源码。3.随便加一点sout输出在程序里。......
spark-yarn源码分析之registerApplicationMaster事件流程
lzf的博客
07-01 690
概述 本文基于spark-yarn 2.4与yarn3.2分析registerApplicationMaster的整个流程 spark-yarn部分 spark-yarn运行driver private def runDriver(): Unit = { addAmIpFilter(None) userClassThread = startUserApplication(...
flink1.11.1启动问题
ChengYanan的博客
08-01 8372
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources.
关于Yarn源码的那些事（五）
夜阑听风
05-14 825
上文说到ApplicationMaster的调度便戛然而止，本文继续。private static final class AddApplicationToSchedulerTransition extends RMAppTransition { @Override public void transition(RMAppImpl app, RMAppEvent event) { a...
Flink通过Native Kubernetes(k8s)方式Session模式和Application模式进行部署
Bulut0907
09-15 4707
目录1. Session模式1.1 安装Java1.2 下载Flink并解压1.3 在所有k8s的所有node节点下载flink镜像1.4 创建namespace、service账号和给账号授权1.5 启动flink的jobmanager1.6 访问Flink Web页面1.7 向Flink集群提交任务1.8 再次查看Pod和Flink Web 1. Session模式 1.1 安装Java java 8的安装，请参考我的这篇博客centos7同时安装java8和openJdk11、windows同时安装j
flink1.18.1安装包
05-29
Flink 1.18.1 是一个高度可扩展的开源流处理框架，适用于实时数据流分析和批处理。在Linux环境下安装Flink 1.18.1，需要遵循以下步骤，确保系统具备必要的环境并正确配置。 首先，确保你的Linux系统上已经安装了...
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
Apache Flink是一个流行的开源流处理和批处理框架，它提供了高度容错的数据处理能力，能够实时处理大规模数据流。Flink 1.16.2是该软件的一个稳定版本，针对Scala 2.12构建，这意味着它可以充分利用Scala语言的强大...
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
分享课程——《Flink SQL大数据项目实战》，2022新课，基于Flink1.14.3版本。提供视频配套的源码和文档下载！ Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time...
flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)
10-08
Apache Flink 是一个开源的流处理和批处理框架，它为实时数据处理提供了高效、可扩展和容错的解决方案。Flink 1.15.2 版本是该框架的一个稳定版本，针对前一版本进行了优化和修复，旨在提供更稳定的性能和更多的功能...
Flink部署--入门
weixin_45102492的博客
03-05 395
Flink安装部署 standalone模式 在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压 [root@node01 Flink]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz #重命名解压后的文件夹 [root@node01 Flink]# mv ...
理解Hadoop YARN架构
热门推荐
Spring , Hadoop, Spark , BI , ML
07-11 1万+
1. 介绍YARN（Yet Another Resource Negotiator）是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。 其核心出发点是为了分离资源管理与作业调度/监控，实现分离的做法是拥有一个全局的资源管理器（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM），应用程序由一个作业（Job）或者Job
Hadoop3.2.0 编写YARN应用程序
张伯毅的专栏
02-21 3595
目的 概念和流程 接口 编写一个简单的YARN应用程序 写一个简单的客户端 编写ApplicationMaster（AM） 常问问题 如何将应用程序的jar分发给需要它的YARN集群中的所有节点？ 我如何获得ApplicationMaster的ApplicationAttemptId？ 为什么我的容器被NodeManager杀死了？ 如何包含本机库？ 有用的链...
YARN学习总结-第十六节-YARN-Writing-YARN-Application
qq_20995587的博客
08-29 578
YARN-Writing-YARN-Application AM的主要任务是： a) 任务被AMRMClientAsync异步执行，并且带有在AMRMClientAsync.CallbackHandler中指定的事件处理方法，需要客户端明确指定。 b) 通过运行一个可运行的对象，在容器分配后调起。作为被调起的一部分，AM必须指定ContainerLaunchContext包括一些调起信息。 ...
hudi同时读写遇到的问题,以及疑惑汇总
qq_31866793的博客
05-07 5106
1，创建一个kafka的表 %flink.ssql DROP TABLE IF EXISTS logtail; --创建kafka表 CREATE TABLE logtail ( order_state_tag int ........... ........... ) WITH ( 'connector' = 'kafka', 'topic' = 'ods.rds_core.plateform_stable.assure_orders', 'prop...
spark-yarn源码分析之AM申请container事件流程
lzf的博客
07-03 2272
spark-yarn部分 run Driver private def runDriver(): Unit = { addAmIpFilter(None) userClassThread = startUserApplication() // This a bit hacky, but we need to wait until the spark.driver.p...
yarn流程
Z的博客
11-22 1810
concepts and flow 一个应用提交客户端想YARN RM提交应用。这可以通过设置YarnClient对象来完成。在YarnClient建立后，这个客户端设置应用上下文，准备这个应用的包含AM的第一个container，然后提交应用。你需要提供信息，比如应用允许需要的本地文件/jars的细节，执行的实际命令（包括必须的命令行参数），一些操作系统环境设置（可选的）等等。实际上，你需要描
hive shell按照日期分区查询出错container rejected as it is allocated by a previous RM
宝罗Paul 的博客
05-21 1826
【错误现象】错误日志摘要如下hive> SELECT COUNT(*) FROM user_emails WHERE DT='2018-05-04';Query ID = hive_20180521154838_e7c24767-8634-44e7-bad6-3a73ce13f768Total jobs = 1Launching Job 1 out of 1Status: Running (...
MySQL tinyint(1)类型数据在经过flink cdc同步到doris后只有0/1问题定位与解决
最新发布
HumorChen的博客
09-23 585
随着深入核实SQL、查询条件、表数据发现，同步后的数据表里的一个status字段全是0和1，而源表中有0 1 2 3 4等多个数值，起初以为是status为内置关键词或者内置列问题，去doris官方文档里没有查到这个，随即看了下这个字段的定义，是tinyint(1)，于是我查看了名字为非关键词的同类型列，也出现了这个问题，同步后全是0和1，因此可以确认，tinyint(1)这个类型的字段从mysql使用flink cdc同步到doris会有问题。同步后的表里这个字段的值只有0和1了。mysql 数据类型。
Apache Flink命令行操作指南
"Apache Flink命令行参数用于在分布式数据流处理和批量数据处理环境中执行打包为JAR的程序。Flink提供了一个命令行接口，它适用于本地和分布式环境，通过<flink-home>/bin/flink可访问，并默认连接到运行中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值