Flink: Job submission failed

最新推荐文章于 2023-08-27 19:41:33 发布
最新推荐文章于 2023-08-27 19:41:33 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据 文章标签： Flink JobGraph timeout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hua_yuan2015/article/details/97104264
版权

原因：提交flink程序给Yarn时无法形成jobgraph

  1. 可能由于jobgraph过大，jobmanager内存不足引起，可增大jobmanager内存
  2. 可能形成flink web在时间内没启动好，可在flink配置文件把web.timeout参数调大 
    web.timeout: 1000000
akka.client.timeout:600s
akka.ask.timeout:600s

     

大数据程序袁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink 1.17 报错 Failed to load web based job submission extension
九师兄
04-10 603
我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。然后因为已经能运行起来了，我就想再次复现这个问题，然后将web.submit.enable改成true，然后也是能运行的，后面把最后加入的依赖也重新搞一下，结果发现无法复现了。关闭后我继续做后面的验证，然后主要是缺少包信息，后面把下图中的所有的包都引入之后，然后就不报错了。然后我找到这个控制参数，然后是否可以关闭呢？
org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph
ynzzxc的博客
10-21 5405
flink sql client提交作业报错： 2021-10-21 15:23:54,232 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar 2021-10-21
sbatch: error: Batch job submission failed: Invalid user id
小男孩儿的博客
08-13 5692
这是因为提交作业时用户名不对。切换到普通用户提交即可。
Bug-Flink 提交job失败
小梁
12-16 1175
1.现象wb界面提交job失败 2.查看Flink日志 tail -F flink-root-standalonesession-3-hadoop100.log.1 报错jar包中没有这个scala的类 于是查看jar包 发现 没有将scala的类打进jar包中 原因:maven默认情况下只打包Java代码 并不大将scala代码打包 3.解决方法-pom文件配置scala代码打包插件即可 <!--该插件用于将Scala代码编译成class文件 -->
Flink遇见错误的笔记
m0_46581341的博客
05-19 291
flink在提价任务时遇见的错误 The server responded with: org.apache.flink.runtime.client.JobSubmissionException: Failed to submit job. 原因： 把linux输入文件的路径写错了
flink：Apache Flink
02-04
Apache Flink Apache Flink是具有强大的流和批处理功能的开源流处理框架。 通过了解有关Flink的更多信息 产品特点 流优先的运行时，支持批处理和数据流程序 Java和Scala中优雅流畅的API 同时支持很高的吞吐量和较...
Flink:Flink
03-19
标题中的"Flink:Flink"可能是指Apache Flink，这是一个开源的流处理和批处理框架，专为处理无界和有界数据流而设计。在Java编程语言的支持下，Flink提供了一种高度并行的数据处理能力，使得实时数据处理成为可能。 ...
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
docker-flink:Apache Flink Docker映像
05-05
Flink码头工人 Apache Flink码头工人镜像到： 设置运行一个Flink Master和多个Flink Worker的独立集群 在Scala，Java或Python中构建Flink应用程序以在Flink集群上运行 当前支持的版本： 用于Hadoop 3.2和Scala ...
pulsar-flink：使用Apache Pulsar和Apache Flink进行弹性数据处理
01-30
脉冲星Flink连接器 Pulsar Flink连接器使用和实现弹性数据处理。 有关中文文档的详细信息，请参见。 先决条件 Java 8或更高版本 Flink 1.9.0或更高版本 Pulsar 2.4.0或更高版本 基本信息 本节介绍有关Pulsar Flink...
flink作业提交源码解析(2) - StreamGraph的生成
洽洽老大的专栏
02-09 1177
flink作业提交源码解析(2) - StreamGraph的生成 原文链接 版本 flink: release-1.14 os: ubuntu 16.04 IDE: IDEA WordCount源码及执行流程概览 上文flink作业提交源码解析(1)中说道fink-client中的方法callMainMethod使用了反射机制，去运行用户代码的入口类。本文就进一步研究用户的代码执行的逻辑。 使用自带的WordCount.jar作为例子。运行命令如下： bin/flink run -t remote -d
Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）
weixin_42642502的博客
09-27 4334
1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob
【异常】FlinkException: The module flink-runtime-web could not be found in the class path
本本本添哥
03-21 1148
因为Maven缺少了POM依赖文件导致的错误。在POM文件中引入如下的依赖即可，问题解决。
聊聊flink的log.file配置
weixin_33989780的博客
11-22 1255
序 本文主要研究一下flink的log.file配置 log4j.properties flink-release-1.6.2/flink-dist/src/main/flink-bin/conf/log4j.properties # This affects logging for both user code and Flink log4j.rootLogger=INFO, file # U...
Flink 1.7 本地模式安装配置(local)
vkingnew 的技术博客
12-25 6607
centos7.5 安装jdk: # rpm -ivh jdk-8u172-linux-x64.rpm # java -version java version "1.8.0_172" Java(TM) SE Runtime Environment (build 1.8.0_172-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.172-b11...
Flink作业提交流程
WHY的博客
02-07 1864
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
Katalon 启动 chrome报 failed to load extensionxxx
nujiah001的专栏
10-30 701
需要用一下katalon抓取页面的值，启动的时候一直报一个load extension的错误，网上说可以直接project->setting-> add "useAutomationExtension" false，但发现对我没用。 后来找到一个解决办法，在你打开浏览器的地方，把这个设置用代码加进去，搞定。 System.setProperty('webdriver.c...
Flink源码-JobGraph的处理和JobMaster的创建
最新发布
bigdatakenan的博客
08-27 271
上节我们看到了RestClusterClient上传了jobgraph和作业相关的依赖，jar包等，可是flink集群是如何获取jobgraph如何继续下一步操作的呢，今天我们接着看。
Apache Flink：实时流处理与超越
"Apache Flink是开源的流处理框架，它基于流式处理模型，特别适合对无界数据集进行实时处理。Apache Flink提供了一个融合的平台，支持快速且轻松地构建突破性的实时应用程序，使得数据能够即时用于流处理。在全球...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值