【Flink】Flink提交任务到Yarn报错Unable to close file because the last blockBP enough number of replicas

已于 2023-11-14 09:30:17 修改
阅读量525 收藏 1
点赞数 2
分类专栏： 大数据-flink 文章标签： flink 大数据
于 2023-09-06 19:03:31 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/131723559
版权
大数据-flink 专栏收录该内容
837 篇文章 841 订阅 ¥99.90 ¥99.00
订阅专栏

在这里插入图片描述

1.概述

今天在一个环境提交flink任务到yarn，然后提示报错 Unable to close file because the last blockBP-1485516770-192.168.100.44-1655622573976:blk_1101776325_28036289 does not have enough number of replicas.

具体的错误如下

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number
zhengzaifeidelushang的博客
05-16 175
Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number
【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas
九师兄
01-25 603
【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas
【HDFS】转载:Unable to close file because the last block does not have enough number of replicas报错分析
Mrerlou的博客
05-11 906
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2266) at org
Unable to close file because the last block does not have enough number of replicas报错分析
热门推荐
u013289115的博客
03-31 1万+
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutpu...
hadoop集群运行时遇到Unable to close file because the last block does not have enough number of replicas
Lyx_h的博客
04-08 7407
1.问题描述 hql脚本夜间调度时部分表随机出现了 Unable to close file because the last block does not have enough number of replicas 的报错。 手动重跑后恢复正常。 2.查找原因 通过报错信息可以得知 最后一个block块没有足够的副本而不能关闭文件。 这说明了在某一时刻可能有任务大量读取blocks，耗费了过多...
【hive】hive任务报错does not have enough number of replicas.
zx1414iang的博客
02-21 3295
blk_xx does not have enough number of replicas
Hive脚本: Unable to close file because the last block does not have enough number of replicas 报错分析
雾岛与鲸的博客
09-14 3872
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2266) at org
does not have enough number of replicas
zhuzhen123zhuzhen的博客
03-12 3877
HIVE sql报错 org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.IOException: Unable to close file because the last blockB:blk_17 does not have enough number of replicas. 问题原因： 大量删除文件导致文件写入较慢，进一步造成dn执行nn指令的耗时过长，长时间无法上报IBR请求至nn 1． 当前规避办法： 开启IBR参数，
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob...
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: ...
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
flink-on-yarn-1.13.2.jar
最新发布
09-28
本人搭建cdh6.3.2环境时候集成flink1.13.2组件使用的flink_on_yarn-1.13.2.jar资源包，已验证可以使用，是本人制作parcel的时候的成品
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring...
FLINK_ON_YARN-1.14.3.jar
04-05
CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
flink-file-sink-common-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-file-sink-common-1.13.2.jar； 赠送原API文档：flink-file-sink-common-1.13.2-javadoc.jar； 赠送源代码：flink-file-sink-common-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-file-sink...
NameNode与DataNode删除块逻辑分析
笑看风云路的博客
06-21 704
最近有位小伙伴在生产环境执行 Spark SQL任务的出现了Unable to close file because the last block does not have enough number of replicas. 的错误，大致意思是最后一个 block 快没有足够的副本而不能关闭文件。最近看了一篇文章写了关于这个问题的分析，我也分享给你，希望你在遇到这样的问题的时候，提供一种解决问题的思路​。
flink提交任务到yarn报错 org.apache.hadoop.ipc.Client Retrying connect to server: 0.0.0.0/0.0.0.0:8032
06-01
这个错误通常是由于 Flink 无法连接到 YARN ResourceManager 导致的。可能的原因包括以下几个方面： 1. 检查 YARN 的配置是否正确。确保 ResourceManager 的地址和端口号正确，并且网络连接无误。 2. 检查 Flink 的配置是否正确。确保 `flink-conf.yaml` 中的 `yarn.application-attempts` 和 `yarn.resourcemanager.address` 配置正确，并且和 YARN 的配置一致。 3. 检查 Flink 和 YARN 版本是否兼容。Flink 的版本和 YARN 的版本需要匹配，否则可能会出现连接错误。 4. 检查是否有防火墙或网络代理等安全机制阻止了 Flink 和 YARN 的通信。可以尝试关闭防火墙或者检查网络代理的配置。 5. 检查 YARN ResourceManager 是否启动成功。可以查看 YARN 的日志文件，确认 ResourceManager 是否启动成功，并且监听的端口是否和配置一致。 如果以上步骤都没有解决问题，可以尝试重启 YARN 和 Flink，或者查看更详细的日志信息，找到问题的具体原因。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值