Cannot obtain block length for LocatedBlock
说明: 当HDFS上文件在被写入时,在未关闭文件之前,写入操作异常终止,此文件就会保有openforwrite的状态,
不能对文件进行cat和get操作
常见场景:Flume在对HDFS进行文件写入操作时,HDFS服务终止,文件没及时关闭。
当MR读取该文件时,也无法使用cp或者get命令,会抛异常:
java.io.IOException:java.io.IOException: Cannot obtain block length for LocatedBlock{BP-572174678-192.168.88.88-1639737680039:blk_1073745926_5102; getBlockSize()=4513; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[192.168.88.88:50010,DS-815956ca-9ccb-4ab3-af7b-e0c2a28ceab7,DISK]]}
解决方法
1、先定位到文件
hadoop fsck -openforwrite
查看哪一个是openforwrite的文件
2、释放租约(关闭文件)
hdfs debug recoverLease -path -retries
批量处理命令: 试了一下好像不太管用
hdfs fsck -openforwrite | grep ‘^.’ | grep ‘OPENFORWRITE’ | grep -o “/[^ ]*” | xargs -Ixarg hdfs debug recoverLease -path xarg
原创文章地址转达:https://blog.csdn.net/hxiaowang/article/details/103493115