提交flink任务失败记录

已于 2023-12-05 14:39:05 修改
阅读量443 收藏
点赞数
文章标签： flink zookeeper 大数据
于 2022-06-17 17:59:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58149226/article/details/125337956
版权

报错信息如下:

发现并不能看出任何问题(一顿百度,都是奇奇怪怪的回答,都没解决)

还是要仔细观察log日志才能发现问题,不要乱百度

yarn上查看logs日志的报错信息

发现clickhouse的jdbc依赖的这个guava-19.0.jar 是小版本

任务打包提交到集群和集群的guava-27.0.jar,这两个版本冲突,导致一直报错

可以去网上下载这个27的jar替换一下就没问题

不是代码是牛马
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flink客户端提交任务报错
wudonglianga的专栏
06-07 2326
【代码】flink客户端提交任务报错。
分享一个Flink checkpoint失败的问题和解决办法
Java烂猪皮
09-18 2686
走过路过不要错过点击蓝字关注我们接触Flink一段时间了，遇到了一些问题，其中有一个checkpoint失败导致作业重启的问题，遇到了很多次，重启之后一般也能恢复正常，没有太在意，最近2...
Flink任务提交问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
02-24 1861
全网最全大数据面试提升手册！flink 任务提交问题汇总1. 提交flink自带任务WordCount.jar遇到的问题：2. 提交flink 批处理任务时遇到的问题3. flink定时任务，mysql连接超时问题4. flink checkpoint 恢复失败5. yarn 增加并行任务数量配置6. 流处理flink程序在hadoop集群跑了一段时间莫名挂掉1. 提交flink自带任务WordC...
Flink的web ui提交任务
weixin_52731998的博客
03-23 3719
文章目录打包提交任务杀死8888 打包 先在idea中给代码写完，打成一个jar包用来提交任务 提交任务 进入web ui界面master 8081 点击add new 找到刚才打好的jar包位置选择jar包 类的话直接从idea中Copy Reference即可 点击submit 提交完成 杀死8888 有时候我们打开8888端口显示已经被占用 这时候我们可以将其杀死 ps aux | grep 8888 显示所有端口号 杀死 kill -9 35704 ...
spark提交作业到yarn队列报错：hadoop.yarn.exceptions.YarnException
07-08 3229
报错详情： Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: org.apache.hadoop.security.AccessControlException: User amrcloud does not have permission to submit application_1585639257391_0011 to queue default at org.apache.hadoop.ya
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
flink任务调度器
06-20
3. **容错机制**：当任务失败时，调度器会重新调度失败的任务，以保证整个作业的持续运行。Flink使用检查点（checkpoints）来实现状态一致性，任务调度器在进行故障恢复时会利用这些检查点。 4. **动态调整**：任务...
grafana-Flink 任务监控.json
05-24
grafana上Flink 任务监控使用的json文件，基于flink-1.15.x版本
flink学习资料案例记录
07-25
flink学习资料案例记录
flink任务分process处理方案
05-03
标题中的“flink任务分process处理方案”是指在Apache Flink这一流处理框架中，采用特定的处理方式来组织和管理任务。Flink是一个开源的流处理和批处理系统，它支持实时数据处理和复杂事件处理，适用于大数据分析、...
Flink报错：does not exist or the user running Flink (‘root‘) has insufficient permissions to access it
あずにゃん梓喵的博客
07-19 3845
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 实际任务会被分发到 taskmanage 的机器中，计算结果根据会保存到 taskmanage 的机器下，不会在 jobmanage 的机器下。 因此需要把所读取的本地文件发送到每台taskmanage机器和jobmanage机器中，否则会报错FileNotFoundException和IOException， 比如 does not exist or the us
Flink SQL 相关问题
奔跑的蜗牛AZ的博客
08-09 1082
报错1： Flink SQL> select 'hello world'; [ERROR] Could not execute SQL statement. Reason: org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph. 未启动 Flink集群，先启动Flink集群再进入客户端执行 1，启动集群 ./start-cluster.sh 2，启动客户端 ./sql-client.sh e
一次flink任务重试失败的问题分析
hncscwc的博客
11-16 1624
【背景】在研究flink任务失败重试的过程中，遇到了一个问题，具体表现为：在任务重试时，出现与NN连接失败，触发新的一次重试，然后重复此流程，直到达到重试上限后，任务失败退出。本文就总结下整个问题的分析过程，以及涉及到的相关知识点。【问题分析过程】首先查看了任务的日志，发现有如下关键信息：INFO org.apache.hadoop.io.retry.RetryInvocationHandler ...
Flink SQL:INSERT Statements
weixin_48813624的博客
11-07 1197
Flink SQL:INSERT Statements
Flink 会话模式Yarn部署完成后无法提交作业
qq_44540985的博客
12-09 1252
Flink 会话模式Yarn部署完成后无法提交作业
【Flink】flink 升级 the given -yarn-cluster does not contain a valid port
九师兄
06-04 721
1.场景1 1.1 概述 在本次场景中，我是从flink 1.9升级到1.12.4 升级请参考：【Flink】Flink 从 1.9.1 版本 升级到 1.12.4 版本的 注意事项 以及 过程 然后发下 提交命令变化了，然后报错了这个 Flink ： Flink run yarn 报错 could not build the program from jar file -ynm 根据这个我将参数一个一个的去掉，最后剩下 ...
Flink】Flink连接prometheus 端口报错 Invalid host/port configuration. Host xxx Port -1
九师兄
07-03 1331
1.美图 2.背景 本地运行flink，然后连接本地的prometheus端口正确，但是运行总是报错 conf.setString("metrics.reporter.promgateway.class", "org.apache.flink.metrics.prometheus.rometheusPushGatewayReporter") conf.setSting("metrics.repo...
flink 运维中遇到的问题
h952520296的博客
03-03 8431
1. Java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation.
Flink本地运行WebUI日志问题
zhuang_wk的博客
09-05 5563
Flink程序运行后，在WebUI页面无法查看jobManager日志或者taskManager日志，归根结底是日志配置的问题，引入或修改相关日志文件配置项即可解决。
任务提交FLink集群
最新发布
06-03
任务提交到Flink集群可以通过以下两种方式实现： 1. 使用Flink命令行工具：Flink提供了命令行工具flink run，可以将本地或远程的Flink任务提交到Flink集群上运行。使用该命令行工具需要指定任务的JAR包路径和相关参数，例如： ``` ./bin/flink run -c com.example.WordCount ./examples/WordCount.jar --input ./input.txt --output ./output.txt ``` 其中，-c参数指定Flink任务的入口类，./examples/WordCount.jar是任务的JAR包路径，--input和--output是任务的输入输出参数。 2. 使用Flink Web Dashboard：Flink Web Dashboard提供了一个可视化的界面，可以通过界面上传和提交Flink任务。在Flink Web Dashboard中，点击Submit New Job按钮，选择要提交的任务的JAR包文件，设置相关参数，即可提交任务到Flink集群上运行。 无论是使用命令行工具还是Web Dashboard，提交Flink任务前需要确保Flink集群已经正确启动，并且配置了正确的参数。同时，需要根据任务的实际情况设置任务的并行度、内存等参数，以确保任务能够顺利运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值