Bug-Flink 提交job失败

最新推荐文章于 2023-12-29 11:45:00 发布
最新推荐文章于 2023-12-29 11:45:00 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： Bug集锦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LIANGFANGWEI/article/details/111276622
版权
博客介绍了在Flink中遇到的job提交失败问题，详细分析了现象——web界面提交job失败，并通过查看日志发现jar包缺少Scala类。原因是Maven默认未打包Scala代码。最后，提出了解决方案，即在pom文件中配置Scala代码打包插件。
摘要由CSDN通过智能技术生成

1.现象web界面提交job失败

在这里插入图片描述

2.查看Flink日志

tail -F flink-root-standalonesession-3-hadoop100.log.1

在这里插入图片描述

报错jar包中没有这个scala的类 于是查看jar包 发现 没有将scala的类打进jar包中
在这里插入图片描述

  • 原因:maven默认情况下只打包Java代码 并不将scala代码打包

3.解决方法-pom文件配置scala代码打包插件即可

    <!--该插件用于将Scala代码编译成class文件 -->
            <plugin>
最低0.47元/天 解锁文章
欧阳喇嘛
关注
专栏目录
flinksql BUG : flink hologres-cdc source FINISHED
Direction_Wind的博客
06-15 263
这个flink的核心报错在：Caused by: org.apache.flink.util.FlinkRuntimeException: There is a FINISHED state of task, and the job is still running, please take a look!分析后发现是hologres-cdc的原表，设置的shard数量过小，我flink任务并发过大的情况下，shard数量不够，就会让任务中部分 task finished，而发生这种情况。
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink（特点和优势分析+事件与时间维度分析）
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
12-27 1070
本文介绍了Apache Flink的定义、架构、基本原理，并辨析了大数据流计算相关的基本概念。同时回顾了大数据处理方式的历史演进以及有状态的流式数据处理的原理。最后，分析了Apache Flink作为业界公认为最好的流计算引擎之一所具备的天然优势，旨在帮助读者更好地理解大数据流式处理引擎的基本概念，更好地应用Flink。Processing-time：在大数据处理引擎只支持Processing-time的情况下，定义运算窗口时可以设定结算时间，例如每小时进行一次结算。
hibench运行flink程序第三步run.sh出错（提交job失败）
小朱小朱绝不认输的博客
04-14 2702
在hibench上运行flink程序，提交job失败 hibench上做flink实验时，在新的服务器上重新配置环境后，在成功运行Hibench的前两步genSeedDataset.sh和dataGen.sh后，运行run.sh,正常提交，但生成metrics全部为0。 分析原因： Kafka产生数据失败 仔细查看了Kafka日志发现没有问题，怀疑可能是设置的自动删除日志设置的数据量过小，去掉之...
org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph
ynzzxc的博客
10-21 5453
flink sql client提交作业报错： 2021-10-21 15:23:54,232 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar 2021-10-21
flink web-ui提交New Job报错Server Response Message: Internal server error.
wufabao的博客
08-29 1540
flink web-ui提交New Job报错Server Response Message: Internal server error.
Flink集群运行job失败
qq_41999004的博客
06-13 824
背景 本地job可以正常运行,打包上传到集群后输入内容抛出异常 原因:代码依赖中flink 基于scala2.12版本,但是集群上的flink基于scala的2.10版本
Flink: Job submission failed
hua_yuan2015的博客
07-24 1413
原因：提交flink程序给Yarn时无法形成jobgraph 可能由于jobgraph过大，jobmanager内存不足引起，可增大jobmanager内存 可能形成flink web在时间内没启动好，可在flink配置文件把web.timeout参数调大 web.timeout: 1000000 akka.client.timeout:600s akka.ask.timeout:600s...
Flink 任务提交失败 Could not deploy Yarn job cluster
热门推荐
Baron_ND的博客
09-08 1万+
1.Flink提价任务，读取Hbase数据和hdfs数据，需要单独倒入一些hbase的依赖jar，所以加入了maven依赖，本地能正常测试运行，但是发布到yarn上运行报错，所以测试读取hdfs文件的时候，去掉依赖就可以了。 2.加入打包依赖的时候，注意加入过滤不需要的文件，不然会报错。 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not depl.
Flink流计算编程--Flink扩容、程序升级前后的思考
lmalds的专栏
06-23 6234
Flink 扩容
Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）
最新发布
qq_32020645的博客
12-29 995
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。Per-Job模式就是直接由客户端向Yarn中提交Flink作业，每个作业形成一个单独的Flink集群。
Flink源码系列——JobManager处理SubmitJob的过程
混混的博客
03-16 6714
接《Flink源码系列——获取JobGraph的过程》，在获取到JobGraph后，客户端会封装一个SubmitJob消息，并将其提交给JobManager，本文就接着分析，JobManager在收到SubmitJob消息后，对其处理逻辑。JobManager是一个Actor，其对接受到的各种消息的处理入口是handleMessage这个方法，其中对SubmitJob的处理入口如下： ove...
Flink yarn 任务job失败 yran application_xxx_id 还处于running状态
wu的博客
11-10 1025
Flink yarn 任务job失败 yran application_xxx_id 还处于running状态
flink 1.12.1webui运行任务stdout无输出，命令提交失败解决方法
qq_41744529的博客
02-23 1035
flink 1.12.1webui运行任务stdout无输出，命令提交失败解决方法
scala的flink程序遇到的bug
weixin_46609492的博客
01-18 1536
Exception in thread “main” java.lang.NoClassDefFoundError 运行那个类就就进行编辑那个类
flink运行job任务时报错 Could not retrieve the execution result
programmer_trip的博客
10-13 5444
flink运行job任务时报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: ed150cf006f7e66ebe74c75f72431463) at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.jav
Hadoop Job失败解决
hacker_zhb的博客
06-27 755
现象：map 某个task始终实行失败，直到超时，attemp task重试四次，最后task失败 查看jobtracker发现每次都是固定的task，找到该task所在节点，查看log，搜索该taskid 如：   cat hadoop-hadoop-tasktracker-DB1221.log.2012-06-26 | grep attempt_201206081842_0456_m_...
Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）
weixin_42642502的博客
09-27 4367
1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob
flink on yarn 踩过的坑
warm_day的博客
07-02 992
启动 ./yarn-session.sh 报错： Error: A JNI error has occurred, please check your installation and try again Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/had
apache-flink
05-21
Apache Flink是一个流式计算平台，它支持分布式、高性能、容错的数据流处理程序。它具有低延迟、高吞吐量、精确一次处理语义、支持批处理和流处理等特点，广泛应用于实时大数据处理、流数据分析、机器学习等领域。Flink提供了丰富的API和库，包括DataStream API和Table API，使得用户可以方便地编写和优化复杂的流处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值