【Flink】FlinkException The file LOG does not exist on the TaskExecutor

最新推荐文章于 2023-08-26 00:58:58 发布
最新推荐文章于 2023-08-26 00:58:58 发布
阅读量6.1k 收藏 1
点赞数 1
分类专栏： 2025最新-大数据-flink 文章标签： Flink LOG STDOUT exit TaskExecutor
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/107495062
版权
这篇博客介绍了在Flink使用过程中遇到的异常问题——'The file LOG does not exist on the TaskExecutor'。错误在本地运行时未出现，但在服务器上打包运行以及通过Flink Web UI查看TaskManager日志时发生。问题可能源于服务停止后新服务启动，导致Web界面仍尝试访问旧服务的日志。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在这里插入图片描述

1.背景

偶然程序报错这个，看起来是源码里面的东西

org.apache.flink.util.FlinkException: The file LOG does not exist on the TaskExecutor.
        at org.apache.flink.runtime.taskexecutor.TaskExecutor.requestFileUpload(TaskExecutor.java:935)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethod
了解本专栏 订阅专栏 解锁全文
Flink异常：TaskExecutor中不存在LOG文件的问题解决
2301_79366177的博客
08-12 1287
通过分析和解决方案，我们可以应对Flink异常“TaskExecutor中不存在LOG文件”的问题。根据具体情况检查配置文件、存储设备空间，并尝试重新生成日志文件，可以解决大部分相关的问题。如果日志文件被人为删除或者损坏，TaskExecutor将无法找到对应的文件。确保日志目录的路径是正确的，并且具有足够的权限让TaskExecutor可以访问和写入日志文件。如果日志目录所在的存储设备空间不足，可能会导致TaskExecutor无法正常写入日志文件。在重新启动之前，可以先备份原有的日志文件以便后续分析。
[Flink] The file LOG does not exist on the TaskExecutor
九师兄
01-26 3966
1.背景 运行一个flink任务，然后运行的时候界面没有报错，但是后台日志里面有错误，任务正常运行 [2020-06-23 13:45:07] [INFO] [org.apache.flink.runt ime.executiongraph.ExecutionGraph:1491] Sink: eventSink (2/6) (7338671a8d4e8f5513480906f83def72) switched from DEPLOYING to RUNNING . [2020-06-23 13:45:0.
flink1.13报错：The file STDOUT does not exist on the TaskExecutor
海若_matrix的博客
08-30 5524
该报错主要是找不到STDOUT文件,原因是程序中没有sout输出，当你去web-ui点击stdout目录，就会报一个这儿样的接口请求错误，并不影响程序运行，可忽略。2.如果没有sout输出，不要点击stdout目录。1.修复flink runtime源码。3.随便加一点sout输出在程序里。......
Flink本地运行WebUI日志问题
zhuang_wk的博客
09-05 6595
Flink程序运行后，在WebUI页面无法查看jobManager日志或者taskManager日志，归根结底是日志配置的问题，引入或修改相关日志文件配置项即可解决。
The file STDOUT is not available on the TaskExecutor
weixin_44904163的博客
07-01 3981
Flink web无法打印输出
The file LOG/STDOUT is not available on the TaskExecutor
夫唯不争，故天下莫能与之争。
04-22 7045
yarn集群模式提交Flink任务时，无法查看日志，数据传输都正常，taskManager的日志无法显示，找不到方法。 F12查看接口报错， 具体报错如下： Exception on server side: org.apache.flink.util.FlinkException: The file LOG is not available on the TaskExecutor. at org.apache.flink.runtime.taskexecutor.TaskExecutor.r
TaskExecutor 大数据中不存在 LOG 文件
2301_79366177的博客
08-26 212
当在 TaskExecutor 大数据中找不到所需的 LOG 文件时，首先检查配置文件中的日志路径和文件名是否正确。通过排除这些可能的原因，您应该能够解决找不到 LOG 文件的问题，并获取所需的任务执行信息。一些日志框架（例如 Log4j）支持滚动策略，即当日志文件达到一定大小或时间时，将当前的日志文件重命名并创建一个新的日志文件。检查指定的路径，确保 LOG 文件存在于正确的位置。以下是一些可能的原因和相应的解决方案，帮助您定位和解决 TaskExecutor 中缺少 LOG 文件的问题。
Flink1.11.2 on YARN滚动日志配置
仙道Bob的专栏
04-14 1864
Flink1.11 on Yarn默认日志是log4j MainAppender非滚动的。如果是流式任务，任务就会常驻，这样日志文件会越来越大(尤其是Task Managers日志)，不加处理磁盘空间就会越占越大，页面日志加载响应也会卡顿。所以可以对Flink的日志做一个滚动配置，这样就可以控制日志文件大小。 flink on yarn用的log配置默认是flink/conf/log4j.properties配置文件，可修改为： # 滚动日志的配置 # This affects logging fo.
【Flink】Flink 本地 per-job 模式提交flink报错 Connection refused: localhost/127.0.0.1:8081
九师兄
08-30 1564
本文章是我在做这个的时候遇见的：Flink The file LOG does not exist on the TaskExecutor提交任务命令如下 然后报错 有博客说 但是 per-job 模式 本来就不需要启动。最后验证使用如下命令就可以 好像换个位置就可以，比较奇怪。.........
【Flink】Flink1.11.2 on YARN滚动日志配置
九师兄
04-18 2336
文章目录1.概述1.1 Flink 应用的完整日志如何查看？1.2 滚动M.扩展 1.概述 1.1 Flink 应用的完整日志如何查看？ Flink 应用运行中的 JM/TM 日志可以在 WebUI 上查看，但是查问题时通常需要结合完整日志来分析排查，因此就需要了解 YARN 的日志保存机制，YARN 上 Container 日志保存位置跟应用状态有关： 如果应用还没有结束，Container 日志会一直保留在其运行所在的节点上，即使 Container 已经运行完成仍然可以在所在节点的配置目录下找到
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 4万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动
chenxyz707的博客
06-01 6760
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动 某天集群Zookeeper因为OOM挂掉，引起基于此ZK作HA的Flink集群出现故障。 在Zookeeper恢复后，重启Flink集群(版本1.7.2)时出现如下报错，导致集群无法正常启动。 ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error oc
Flink1.2 报错 org.apache.flink.util.FlinkException: Could not retrieve file from transient
qq_41768325的博客
11-01 6117
Flink1.2 Flink on yarn 在运行./bin/flink run ./examples/streaming/TopSpeedWindowing.jar Demo的时候总是报 org.apache.flink.util.FlinkException: Could not retrieve file from transient 无法从暂态检索文件 以下是我的报错信息 我的Flink yaml配置文件中io.tmp.dirs配置项是tmp/flink 按照报错的信...
org.apache.flink.util.FlinkException: The TaskExecutor is shutting down.
何以清风
07-23 5250
今天突然遇到这样的问题，网上说JDK版本不对，本人换了JDK没有卵用。 原因是flink处理kafka的数据时，kafka宕机造成的。
【Flink】flink 状态恢复 because the operator is not available in the new program
九师兄
12-03 841
详细错误如下。
Flink开发中遇到的问题及解法
小龙的博客
04-09 1万+
1. 当Source是Kafka的时候，如何设置Source Operator的并发度？如果没有指定，Source Operator的个数与集群中的TaskManager的个数相等。如果手动设置，建议使用的slot个数=Kafka Partition的个数／TaskManager的个数。此时，Slot的个数需大于等于2.因为其中有一个Source Operator。也不建议在一个Slot中启用多线...
org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result
剑雨江湖
07-05 1万+
org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java...
flink on yarn模式出现The main method caused an error: Could not deploy Yarn job cluster问题排查+解决
微电子学与固体电子学-俞驰
06-08 2万+
报错复现: flink run -m yarn-cluster -p 2 -yjm 700m -ytm 1024m -c WordCount target/bbb-1.0-SNAPSHOT.jar 完整报错如下: The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error:
The file RELEASEE does not exist
最新发布
09-01
根据提供的引用内容，可以看出在不同的情况下，出现了文件不存在的错误。在引用中，是针对Flink框架的测试类报错，指出了文件"LOG"在TaskExecutor上不存在。在引用中，是针对Code::Blocks编译器的报错，指出了文件"/home/strong/codeblocks_work/Fire-master/src/bubble/config.cpp"不存在。并且在引用中，也提到了Flink框架报错中文件"LOG"不存在的问题。然而，没有提到"The file RELEASEE does not exist"这个具体的错误信息。基于这些信息，我无法提供关于"The file RELEASEE does not exist"的具体解答。如果你能提供更多关于这个错误的上下文信息，我将尽力为你解答。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [[Flink] The file LOG does not exist on the TaskExecutor](https://blog.csdn.net/qq_21383435/article/details/113195513)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Code::Blocks – The file does not exist.](https://download.csdn.net/download/weixin_38738830/14060902)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值