【Flink】Flink 运行报错 does not have any open files

于 2022-09-08 20:57:39 发布
阅读量692 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink hadoop 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124856407
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
在运行Flink任务时遇到'LeaseExpiredException'错误，可能由于ck间隔设置过小或者HDFS的dfs.datanode.max.xcievers参数达到上限。错误源于文件在数据流操作期间被删除，类似于MapReduce中多个任务同时操作同一文件的情况。解决方案是检查并适当增加datanode的xcievers上限。
摘要由CSDN通过智能技术生成

文章目录

在这里插入图片描述

1.概述

运行flink的时候任务，ck报这个错是不是设置的ck间隔太小了?
在这里插入图片描述
在这里插入图片描述

报错 does not have any open files。详情如下
在这里插入图片描述

最上面的一个warn对应的源码如下

如果流只是关闭，则删除生成的文件(例如，通过自动关闭特性进行清理)。如果删除失败，此方法不抛出异常，只记录错误。
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Could not get job jar and dependencies from JAR file: JAR file does not exist:
一杯咖啡半杯糖的博客
12-01 6147
问题背景：使用flink客户端执行flink提交到yarn上，输入参数-yjm等调整flink参数，执行后出现下面问题 /data/flink/flink-1.13.2/bin/flink run -yjm 4096m -ytm 4096m -ynm test13 -yd -m yarn-cluster -yqu test -C https://files.huizecdn.com/file2/M00/00/01/rBMBfmGSRQqAAIQSAAAKEcKAWyg678.jar -c co
Flink运行报错：无打开的文件（大数据）
最新发布
2301_79366435的博客
08-28 166
当在使用Flink处理大数据时，可能会遇到"Flink运行报错：无打开的文件"的错误。通过检查文件路径、文件是否存在、文件是否被锁定以及文件权限等因素，并根据情况调整操作系统和Flink的配置，可以解决这个问题。本文将介绍一种常见的错误，即"Flink运行报错：无打开的文件"，并提供解决方案。文件路径错误：检查你在Flink作业中使用的文件路径是否正确。确保文件的所有者和权限设置正确，并授予执行Flink作业的用户适当的权限。命令或文件管理器检查文件是否存在，并确保Flink作业有足够的权限读取文件。
hadoop任务运行报错记录
分布式应用与服务器架构专栏
11-29 2989
org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /order_closed_compress/_temporary/_attempt_201311152318_5890_m_000065_0/part-m-0006
HDFS超租约异常总结（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）
ankan7400的博客
11-10 868
HDFS超租约异常总结（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException） 转载2014年02月22日 14:40:58 9686 异常信息： 13/09/11 12:12:06 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512 org.apa...
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException
Johnson8702的博客
01-06 974
问题 SparkStreaming实时消费kafka数据，数据聚合后重分区，每个分区内部，写hive表；写文件的过程中，文件名具体到批次时间。通过executor的日志，发现偶尔会有下面的报错 21/01/06 13:44:00 WARN DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException)
Holder DFSClient_NONMAPREDUCE_-799791669_57 does not have any open files.
u011250186的博客
06-24 6905
flink程序报错: 2019-06-24 09:22:42,033 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Source: Custom Source -> Map -> Filter -> Map -> Filter -> Process -> Filte...
hadoop 报错 org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException
09-26 726
打开文件最大限制 echo "fs.file-max = 65535" >> /etc/sysctl.conf echo "* - nofile 65535" >> /etc/security/limits.conf sysctl -p ulimit -n   修改hadoop配置 vi hdfs-site.xml <property> <name
Flink Mac本地安装、运行
架构师思考实践
02-26 2184
一、flink本地安装 先看下是否有java，不过没有也没事，用的是open-jdk，命令如下： #1、查看java版本 java -version #2、安装flink brew install apache-flink #3、查看flink版本 flink --version
No lease on /目录: File does not exist. [Lease. Holder: DFSClient_NONMAPREDUCE_-2059237550_1, pending...
weixin_34037515的博客
04-02 1581
　　感觉程序员的世界真是一个变幻无常且精彩绝伦的世界，每次跑程序都会发现不一样的问题。今天跑MapReduce程序来统计邮箱次数时遇到了一个问题，明明一样的代码，别人能跑，我却跑不了。我相信，基本做这行的都遇到过这种问题。好了，话不多说，来聊聊今天的错误吧。 　　根据日志查看到报的错误为：No lease on /目录: File does not exist. [Lease. Holder:...
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: org.apache.hadoop.hdfs.server.namenode
i am me，haha，么么哒。。。
04-13 4377
1.最近hbase的rgion经常挂掉一个，查看该节点日志发现如下错误： 2014-02-22 01:52:02,194 ERROR org.apache.Hadoop.hbase.regionserver.HRegionServer: Close and delete failed org.apache.hadoop.hdfs.server.namenode.LeaseExpired
HDFS超租约异常（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）
smallnetvisitor的博客
06-19 979
异常信息： org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No leas e on ***.lzo File does not exist. Holder ** does not have any open files. ...
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException)
weixin_37589026的博客
10-17 1197
mapreduce自定义输出文件时报错如下 2019-10-17 14:12:42,778 WARN [Thread-24] org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.L...
No lease on xxxx.txt (inode 43285976): File does not exist. Holder DFSClient_NONMAPR
u010791030的博客
07-13 3305
文件上传到hdfs，同时操作一个文件会报错 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /xx/xx/xx/xx/xx/xxxx.txt (inode 43285976): File does not exist. ...
hadoop 的HDFS 的 standby namenode无法启动事故处理
weixin_30435261的博客
01-22 874
standby namenode无法启动 现象：线上使用的2.5.0-cdh5.3.2版本Hadoop，开启了了NameNode HA，HA采用QJM方式。hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。 1. standby namenode出现异常时的现象 异常现象1: hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。查看ha...
hadoop异常：org.apache.hadoop.ipc.RemoteException
热门推荐
qq_41302130的博客
08-29 1万+
在使用自定义outputformat出现异常，异常值如下： hdfs.DFSClient (DFSClient.java:closeAllFilesBeingWritten(949)) - Failed to close inode 17333。 或者： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.n...
flinksql程序本地可以运行，但放到flink上运行时报错Could not find any factory for identifier 'clickhouse' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.
07-08
这个错误通常是由于缺少对应的 Flink ClickHouse Connector 导致的。你需要确保以下几点： 1. 确认你的 Flink 版本与 ClickHouse Connector 版本兼容。不同版本的 Flink 可能需要不同的 Connector 版本。你可以在 Flink 官方文档中找到兼容性信息。 2. 确保你的项目依赖中已经包含了正确的 ClickHouse Connector。你可以在 Maven 或 Gradle 配置文件中添加对应的依赖。 3. 检查你的环境变量是否正确设置。在 Flink 集群上运行时，需要将 ClickHouse Connector 的 JAR 文件添加到 Flink 的 classpath 中。 4. 确保你的程序中正确引用 ClickHouse Connector。你可以在代码中使用 `TableEnvironment#connect` 方法来连接 ClickHouse 数据源，并指定对应的 Connector。 如果以上步骤都正确无误，但仍然报错，那可能是由于其他配置或依赖问题引起的。你可以查看详细的错误日志来进一步定位问题，并尝试在 Flink 官方论坛或社区寻求帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值