【Flink】Flink 提交任务报错 File does not exit /tmp/application_xxx-flink-conf.yml

最新推荐文章于 2024-04-29 18:56:28 发布
最新推荐文章于 2024-04-29 18:56:28 发布
阅读量1.1k 收藏
点赞数 2
分类专栏： 大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124856984
版权
大数据-flink 专栏收录该内容
836 篇文章 827 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

Flink 升级报错 File does not exit /tmp/application_xxx-flink-conf.yml 这个错误可能有什么原因导致的呢？我从Hadoop2升级到Hadoop3，一切都配置完成了，发布的时候有这个问题，我是不是遗漏了什么配置？

在这里插入图片描述
根据报错找到相应的源码

在这里插入图片描述
这个地方为什么上面明明创建了本地配置文件，然后下面注册本地资源的时候报找不到该本地配置文件呢？

在这里插入图片描述

Utils.isRemotePath(resourcePath.toString()) 这个方法不应该返回true的

最终解决：仔细检查了下配置，fs.scheme用了其他位置的设置。结果判断出了是remotePath

九师兄
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Could not get job jar and dependencies from JAR file: JAR file does not exist:
一杯咖啡半杯糖的博客
12-01 5802
问题背景：使用flink客户端执行flink提交到yarn上，输入参数-yjm等调整flink参数，执行后出现下面问题 /data/flink/flink-1.13.2/bin/flink run -yjm 4096m -ytm 4096m -ynm test13 -yd -m yarn-cluster -yqu test -C https://files.huizecdn.com/file2/M00/00/01/rBMBfmGSRQqAAIQSAAAKEcKAWyg678.jar -c co
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
flink on yarn使用第三方jars的方法&如何查看进程所持有jar包
Mr.Zheng的博客
01-08 3863
前言 在yarn上跑的程序必须拥有代码，环境，配置。 flink on yarn模式，用户提交完jar以后，通过yarn调度队列，任务jar会被分配到某个节点，连同配置，环境，一起被分发到某个Task节点。 flink run 命令参数详情 1 参数必选 ： -n,--container <arg> 分配多少个yarn容器 (=taskmanager的数量) 2 参数可选 ： -D <arg> 动态属性
11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）
Karka_的博客
02-23 1586
第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、 计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。第二种是自学，就是在网上找资源、找教程，或者是想办法认识一-些大佬，抱紧大腿，不过这种方法很耗时间，而且学习没有规划，可能很长一段时间感觉自己没有进步，容易劝退。③ 了解这些工具的使用场景，懂得基本的使用，推荐在Google上查找。
CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败
qq_21480329的博客
12-31 1561
CDH 6.3.2集成flink 1.18.0 zookeeper版本不匹配
Flink的Yarn-Per-Job提交指令
mp9105的博客
05-18 9505
Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务 主要描述该部分的提交流程 1.提交任务 提交任务主要是通过./bin/flink run -t yarn-per-job完成 常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -
【Flink】FileNotFoundException: JAR file does not exist: -ynm -yst
九师兄
08-16 1191
文章目录1.概述 1.概述 因为有个环境我一不小心在一个容器内执行了 rm -rf /*,然后需要重装机器了。 然后提交任务的时候报错，看了一下提交参数 ，并且与内外网的作对比,发现只有获取flink获取环境配置的时候，有一点点不一样 内网获取的是上图 外网只有一个配置 但是hadoop的文件都在 /usr/hdp/2.5.3.0-37/hadoop/conf 怀疑和环境有关 但是我没找到证据、运行任务参数如下 /usr/xxx/xxx/flink/bin/flink run -class com.
Flink提交任务到Yarn报错
u013044815的博客
12-08 1277
Flink版本是1.11.1 Hadoop版本是3.1.2 提交方式为Yarn application模式 提交任务后创建container失败 错误信息： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Data/opt/hadoop-3.1.2/tmp/nm-local-dir/usercache/root/appcache/application_1607396911850_0
flink yarn模式提交任务出错
weixin_50656879的博客
03-27 768
flink yarn方式提交出现错误的分析
Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history
ZMC921的博客
05-16 8700
spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:查看yarn的聚合日志，将日志下载下来查看。yarn logs -applicationId application_1522668922644_40211 -out ./info发现日志内的错误如下java.io.FileNotFoundException: File...
FlinkSQLread hive IllegalArgumentException: field does not exist
WYRM
04-19 863
1、FlinkSQL读取和hive数据发生字段不存在 创建一个hive表，先插入一条数据，然后再修改表增加一个update_time字段，再用FlinkSQL查询就会报update_time, 字段不存在。 2、异常报错如下 +--------------------------------+-------------+-------------------------------+ | name | age |
flink-table-planner-blink_2.11-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-table-planner-blink_2.11-1.13.2.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.13.2-sources.jar； 赠送Maven依赖...
flink-runtime_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-runtime_2.11-1.13.2.jar； 赠送原API文档：flink-runtime_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-runtime_2.11-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-runtime_2.11-1.13.2....
flink-statebackend-rocksdb_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-statebackend-rocksdb_2.11-1.13.2.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.13.2-sources.jar； 赠送Maven...
flink-table-planner-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-planner-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
最新发布
TONIYH的博客
04-29 357
Flink的checkpoint的过程依赖于异步屏障快照算法，该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来说比较简单易懂，这篇博文主要是介绍flink中checkpoint触发流程。持续分析学习~
7、Flink 自定义 WaterMarkGenerator 案例
猫猫爱吃小鱼粮
04-29 240
Flink 自定义 WaterMarkGenerator 案例
5、Flink事件时间之Watermark详解
猫猫爱吃小鱼粮
04-26 1383
Flink事件时间之Watermark详解
Flink学习（八）-Flink 集群搭建
a80C51的博客
04-23 432
装好 jdk 等必要的组件。注意，由于本身没有额外的 dns做转发。因此，需要在每台机器的 host 文件里，配置好相关 ip具体方法。
hadoop fs -cat /flink_output/wordcount-result.txt，如何创建这个文件
05-16
要创建 `/flink_output/wordcount-result.txt` 文件，需要在 HDFS 上创建一个新的文件，并将结果写入该文件。可以按照以下步骤进行操作： 1. 确保 Hadoop 集群正在运行，并且您有权限在 HDFS 上执行操作。 2. 在终端中输入以下命令以创建一个新的文件： ``` hadoop fs -touchz /flink_output/wordcount-result.txt ``` 3. 然后，您可以使用 Flink 作业将结果写入该文件。例如，假设您有一个名为 `WordCount` 的 Flink 作业，可以使用以下命令将结果写入文件： ``` flink run -c WordCount /path/to/WordCount.jar -input /path/to/input -output hdfs:///flink_output/wordcount-result.txt ``` 在这个例子中，`WordCount.jar` 是您的 Flink 应用程序的 JAR 文件，`/path/to/input` 是输入文件的路径，`hdfs:///flink_output/wordcount-result.txt` 是输出文件的路径。 执行上述命令后，Flink 作业将会启动并将结果写入到 `/flink_output/wordcount-result.txt` 文件中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值