关于解决错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP的方案

最新推荐文章于 2024-07-31 10:04:50 发布
最新推荐文章于 2024-07-31 10:04:50 发布
阅读量4.3k 收藏 8
点赞数 2
分类专栏： Hadoop相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28633249/article/details/79893257
版权

问题：出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331

原因：文件异常关闭，导致文件，如下图错误内容

 

hdfs fsck  /data/115/apkinfo/0-11-20180410170000.log(使用命令查看文件块的状态，如下图为打开状态) 红色为hdfs上的地址

 

hdfs debug recoverLease -path  /data/115/apkinfo/0-11-20180410170000.log (对于这些状态损坏的文件来讲，rm掉的话是很暴力的做法，万一上游对应日期的数据已经没有rention呢？所以，既然没有释放租约，那么恢复租约close掉文件就是了) 红色为hdfs上的地址  

 

hdfs   fsck  /data/115/apkinfo/0-11-20180410170000.log（再查看状态显示块已经正常）

 

问题解决

杨先森的博客
关注
专栏目录
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1733
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
大数据篇：这些年大数据组件的一些踩坑和优化总结
yycc
09-09 2430
一些大数据框架使用，维护，优化经验
java.io.IOException: Cannot obtain block length for LocatedBlock{BP
孙大迪迪的博客
05-21 1054
问题描述： 出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331 原因： 文件异常关闭，导致读写任务失败 使用命令查看文件块的状态： hdfs fsck /data/115/apkinfo/0-11-20180410170000.log 使用命令恢复： hdfs debug recoverL...
[解决]java.io.IOException: Cannot obtain block length for LocatedBlock
weixin_34174322的博客
05-16 224
在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hdfs上的，可能由于Namenode长时间gc或者切换或者重启会留下很多.tmp结尾的文件)，为此，使用ha...
关于查询hive表数据报错：java.io.IOException: org.apache.parquet.io.ParquetDecodingException
最新发布
zzy66666c的博客
07-31 272
官方配置文档如上
HDFS java.io.IOException: Cannot obtain block length for LocatedBlock
qq_38007708的博客
09-27 594
原因：文件异常关闭，导致文件无法被读取，一直没有释放租约。 由于文件目录下有多个文件，使用命令检查 hdfs fsck /flume/logs/tyc_data/2019-09-25 正常的文件夹如下： 由于文件夹中有多个文件，使用命令查找具体哪个文件出错 hadoop fsck /flume/logs/tyc_data/2019-09-25 -openforwrite | egrep -v...
Cannot obtain block length for LocatedBlock故障分析与解决
mnasd的博客
11-27 3499
在执行hive任务的时候经常会遇到如下错误： Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-739651031-192.168.1.50-1452872943245:blk_1329315607_256707953; getBlockSize()=6604762; corrupt=fa...
关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案
weixin_53019598的博客
03-08 2034
仅记录，新手有误轻喷。
java.io.IOException: Bad connect ack with firstBadLink as 192.168.8.130:50010问题解决
m0_48987347的博客
10-12 423
执行hadoop fs -cat /text时出现如下错误 经过几番查找，原因可能是过期租约没有释放。 Cannot obtain block length for LocatedBlock{BP-117066940-192.168.8.110-1633739250828:blk_1073741898_1080; getBlockSize()=12; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[192.168.8.110:50010,
Hbase异常处理
乔克叔叔
03-29 3373
1.No lease on file (inode 5425306): File does not exist. [Lease. Holder: DFSClient_NONMAPREDUCE_-247167534_42, pendingcreates: 1] org.apache.hadoop.ipc.RemoteException: No lease on /user/test/xxx/cc...
hbase和hadoop数据块损坏处理
11-05
介绍hbase和hadoop数据块损坏如何处理
大数据中数据节点硬盘坏了 怎么处理.zip
01-06
大数据中数据节点硬盘坏了 怎么处理.zip 大数据中数据节点硬盘坏了 怎么办
java中block_size_[解决]java.io.IOException: Cannot obtain block length for LocatedBlock
weixin_39769228的博客
03-02 213
近期由于运维重启集群导致Flume异常关闭，总结一下原因和处理方法：现象：查询Hive外部表失败，外部表数据有Flume写入错误日志：2017-11-01 00:15:37,077 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hive (auth:SIMPLE)...
hive外部表访问异常-Cannot obtain block length for LocatedBlock
qq_39128254的博客
05-17 308
https://blog.csdn.net/chuhanyong5091/article/details/100970187?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.noneca
Cannot obtain block length for LocatedBlock故障分析和解决
qq_22195987的博客
06-21 3541
转载1https://www.cnblogs.com/cssdongl/p/6700512.html这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题必须解决，Mark一下问题背景和解决过程一.问题背景问题产生的原因可能是由于前几日Hadoop集群维护的时候，基...
报错Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....
qq_43368947的博客
07-06 1838
问题描述 在用 sqoop 拉取 mysql 中的数据到 hive 的 ods 层的时候，报错以下内容 原因在于 在hive中创建表格的时候,格式是ORC，而在导入数据的时候,文本文件却非ORC格式的。 ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。 解决方案 1.将ORC格式的表删除换成textfile存储格式的表即可。 2.先创建一个以textfile格式的临时表先将源文件数据加载到该表，然后再从textfile表中i
Spark报错：Bad response ERROR for block BP-78092257-8.xx-121xxx
九师兄
07-04 2520
1.背景 一个spark 运行了一夜的程序突然报错 java.io.Exception : Bad response ERROR for block BP-78092257-8.xx-121xxx:blk_121xxx_3243 from datanode DataNodeInfoWithStorage[8.99,202] at org.xxx.hadoop.xxx.$ResponseProc...
java.io.IOException: Broken pipe org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe
07-19
当你遇到 `java.io.IOException: Broken pipe` 或者 `org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe` 这样的错误，这通常发生在Web应用程序服务器（如Tomcat）和客户端...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值