java.io.IOException: Cannot obtain block length for LocatedBlock{BP

最新推荐文章于 2023-03-08 11:55:00 发布
最新推荐文章于 2023-03-08 11:55:00 发布
阅读量1k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： java.io.IOException: Cannot obtain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38653290/article/details/90407982
版权

问题描述：
出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331

原因：
文件异常关闭，导致读写任务失败

使用命令查看文件块的状态：
hdfs fsck /data/115/apkinfo/0-11-20180410170000.log

使用命令恢复：
hdfs debug recoverLease -path /data/115/apkinfo/0-11-20180410170000.log

从0到1哦
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop定位hdfs文件块异常和修复Cannot obtain block length for LocatedBlock
sunnyJam的专栏
11-28 1801
1、mapreduce任务处理时，产生异常信息，不能获取块的长度信息，错误日志如下： org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1574843806023_0008_m_000002_3: Error: java.lang.RuntimeException: org.ap...
java.io.IOException: Bad connect ack with firstBadLink as 192.168.8.130:50010问题解决
m0_48987347的博客
10-12 410
执行hadoop fs -cat /text时出现如下错误 经过几番查找，原因可能是过期租约没有释放。 Cannot obtain block length for LocatedBlock{BP-117066940-192.168.8.110-1633739250828:blk_1073741898_1080; getBlockSize()=12; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[192.168.8.110:50010,
[解决]java.io.IOException: Cannot obtain block length for LocatedBlock
weixin_34174322的博客
05-16 217
在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hdfs上的，可能由于Namenode长时间gc或者切换或者重启会留下很多.tmp结尾的文件)，为此，使用ha...
关于解决错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP的方案
杨先森的博客
04-11 4337
问题：出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331原因：文件异常关闭，导致文件，如下图错误内容 hdfs fsck  /data/115/apkinfo/0-11-20180410170000.log(使用命令查看文件块的状态，如下图为打开状态) 红色为hdfs上的地址 hdfs de...
hive外部表访问异常-Cannot obtain block length for LocatedBlock
qq_39128254的博客
05-17 295
https://blog.csdn.net/chuhanyong5091/article/details/100970187?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.noneca
HDFS java.io.IOException: Cannot obtain block length for LocatedBlock
qq_38007708的博客
09-27 579
原因：文件异常关闭，导致文件无法被读取，一直没有释放租约。 由于文件目录下有多个文件，使用命令检查 hdfs fsck /flume/logs/tyc_data/2019-09-25 正常的文件夹如下： 由于文件夹中有多个文件，使用命令查找具体哪个文件出错 hadoop fsck /flume/logs/tyc_data/2019-09-25 -openforwrite | egrep -v...
关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案
weixin_53019598的博客
03-08 1975
仅记录，新手有误轻喷。
大数据篇：这些年大数据组件的一些踩坑和优化总结
yycc
09-09 2413
一些大数据框架使用，维护，优化经验
Hbase异常处理
乔克叔叔
03-29 3354
1.No lease on file (inode 5425306): File does not exist. [Lease. Holder: DFSClient_NONMAPREDUCE_-247167534_42, pendingcreates: 1] org.apache.hadoop.ipc.RemoteException: No lease on /user/test/xxx/cc...
HBase .META. Region启动不成功
Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark
09-09 6814
启动region server的时候报如下错误: 2013-09-09 11:23:05,863 DEBUG org.apache.hadoop.hbase.regionserver.HRegionServer: NotServingRegionException; Region is not online: -ROOT-,,0 2013-09-09 11:23:08,874 DEBU
【Mapreduce租约异常/块异常】Cannot obtain block length for LocatedBlock
Sonnie0000001的博客
10-08 439
Mapreduce 租约异常
Cannot obtain block length for LocatedBlock故障分析与解决
B11050101的博客
11-13 4253
在执行hive任务的时候经常会遇到如下错误：  上层任务执行失败，导致后续任务积压，因此必须解决该问题。
POI 解析Excel Cannot remove block[ xx ]; out of range[ 0 - xx ] 问题分析
weixin_34380781的博客
10-26 832
2019独角兽企业重金招聘Python工程师标准>>> ...
[Hadoop shell命令]--处理hdfs上错误的block块并修复
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
05-18 1万+
情景：运行Spark程序出现报错1、报错信息：17/05/09 14:30:58 WARN scheduler.TaskSetManager: Lost task 28162.1 in stage 0.0 (TID 30490, 127.0.0.1): java.io.IOException: Cannot obtain block length for LocatedBlock{BP-20353...
java.io.IOException: Could not obtain block: blk
豹先生
08-11 4065
联系两个晚上跑数据出现这个异常，具体内容如下： 2011-08-10 05:51:21,823 ERRORorg.apache.hadoop.hbase.regionserver.CompactSplitThread: Compaction/Splitfailed for
java.io.IOException: Broken pipe org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe
最新发布
07-19
当你遇到 `java.io.IOException: Broken pipe` 或者 `org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe` 这样的错误，这通常发生在Web应用程序服务器（如Tomcat）和客户端...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值