Flink: Job submission failed

最新推荐文章于 2023-02-07 17:29:00 发布
最新推荐文章于 2023-02-07 17:29:00 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据 文章标签： Flink JobGraph timeout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hua_yuan2015/article/details/97104264
版权

原因：提交flink程序给Yarn时无法形成jobgraph

  1. 可能由于jobgraph过大，jobmanager内存不足引起，可增大jobmanager内存
  2. 可能形成flink web在时间内没启动好，可在flink配置文件把web.timeout参数调大 
    web.timeout: 1000000
akka.client.timeout:600s
akka.ask.timeout:600s

     

大数据程序袁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink 1.17 报错 Failed to load web based job submission extension
九师兄
04-10 587
我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。然后因为已经能运行起来了，我就想再次复现这个问题，然后将web.submit.enable改成true，然后也是能运行的，后面把最后加入的依赖也重新搞一下，结果发现无法复现了。关闭后我继续做后面的验证，然后主要是缺少包信息，后面把下图中的所有的包都引入之后，然后就不报错了。然后我找到这个控制参数，然后是否可以关闭呢？
【异常】FlinkException: The module flink-runtime-web could not be found in the class path
最新发布
本本本添哥
03-21 1123
因为Maven缺少了POM依赖文件导致的错误。在POM文件中引入如下的依赖即可，问题解决。
Flink报错记录
程裕强的专栏
09-10 1434
[20210910 10:16:40.107] [DEBUG] [main] [StreamGraph.java:391][addOperator] Vertex: 2 java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFa
Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）
weixin_42642502的博客
09-27 4329
1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob
org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph
ynzzxc的博客
10-21 5373
flink sql client提交作业报错： 2021-10-21 15:23:54,232 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar 2021-10-21
Flink遇见错误的笔记
m0_46581341的博客
05-19 290
flink在提价任务时遇见的错误 The server responded with: org.apache.flink.runtime.client.JobSubmissionException: Failed to submit job. 原因： 把linux输入文件的路径写错了
flink：Apache Flink
02-04
Apache Flink Apache Flink是具有强大的流和批处理功能的开源流处理框架。 通过了解有关Flink的更多信息 产品特点 流优先的运行时，支持批处理和数据流程序 Java和Scala中优雅流畅的API 同时支持很高的吞吐量和较...
Flink:Flink
03-19
标题中的"Flink:Flink"可能是指Apache Flink，这是一个开源的流处理和批处理框架，专为处理无界和有界数据流而设计。在Java编程语言的支持下，Flink提供了一种高度并行的数据处理能力，使得实时数据处理成为可能。 ...
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
docker-flink:Apache Flink Docker映像
05-05
Flink码头工人 Apache Flink码头工人镜像到： 设置运行一个Flink Master和多个Flink Worker的独立集群 在Scala，Java或Python中构建Flink应用程序以在Flink集群上运行 当前支持的版本： 用于Hadoop 3.2和Scala ...
pulsar-flink：使用Apache Pulsar和Apache Flink进行弹性数据处理
01-30
脉冲星Flink连接器 Pulsar Flink连接器使用和实现弹性数据处理。 有关中文文档的详细信息，请参见。 先决条件 Java 8或更高版本 Flink 1.9.0或更高版本 Pulsar 2.4.0或更高版本 基本信息 本节介绍有关Pulsar Flink...
聊聊flink的log.file配置
weixin_33989780的博客
11-22 1248
序 本文主要研究一下flink的log.file配置 log4j.properties flink-release-1.6.2/flink-dist/src/main/flink-bin/conf/log4j.properties # This affects logging for both user code and Flink log4j.rootLogger=INFO, file # U...
Flink Java Example之AsyncIOExample详解
小末的博客
07-13 4244
我们学习完Flink相关概念之后发现对Flink编程和程序还是一无所知。这时候我们就需要官方的代码example进行学习和研究，本文就官网github的AsyncIOExample的例子进行详细的代码注释。（ps：其实大家应该都能看懂哈）
Flink 1.7 本地模式安装配置(local)
vkingnew 的技术博客
12-25 6600
centos7.5 安装jdk: # rpm -ivh jdk-8u172-linux-x64.rpm # java -version java version "1.8.0_172" Java(TM) SE Runtime Environment (build 1.8.0_172-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.172-b11...
flink作业提交源码解析(2) - StreamGraph的生成
洽洽老大的专栏
02-09 1173
flink作业提交源码解析(2) - StreamGraph的生成 原文链接 版本 flink: release-1.14 os: ubuntu 16.04 IDE: IDEA WordCount源码及执行流程概览 上文flink作业提交源码解析(1)中说道fink-client中的方法callMainMethod使用了反射机制，去运行用户代码的入口类。本文就进一步研究用户的代码执行的逻辑。 使用自带的WordCount.jar作为例子。运行命令如下： bin/flink run -t remote -d
一文搞定 Flink Job 提交全流程
shengjk1的博客
07-09 2635
前言 前面，我们已经分析了 一文搞定 Flink 消费消息的全流程 、写给大忙人看的 Flink Window原理 还有 一文搞定 Flink Checkpoint Barrier 全流程 等等，接下来也该回归到最初始的时候，Flink Job 是如何提交的。 正文 我们知道 Flink 总共有两种提交模式：本地模式和远程模式( 当然也对应着不同的 environment，具体可以参考 Flink Context到底是什么？)，我们以本地模式为主，两种模式基本上相似。 当我们执行 env.execute ，
Flink作业提交流程
WHY的博客
02-07 1854
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
Flink检查点失败问题-汇总
热门推荐
fct2001140269的博客
03-21 1万+
flink从检查点中恢复的问题 从检查点恢复的时候，命令 ./flink run -s hdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1 -c com.mymain.MyTestMain 报出以下错误： java.util.concurrent.CompletionException: org.apache.flink.util.FlinkExc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值