hadoop2.7执行离线备份hbase根目录时报错Mismatch in length

在执行Hadoop distcp进行HBase数据备份时遇到'IOException: Mismatch in length'的问题,原因是源文件未关闭。通过使用HDFS的fsck检查文件状态确认问题,然后使用hdfs debug recoverLease命令关闭文件,解决了问题,成功完成离线备份。
摘要由CSDN通过智能技术生成

[hdfs@hmaster-1 root]$ hadoop distcp hdfs://hdfs-ha/apps/hbase/data hdfs://hdfs-ha/backup/hbase_bk_20171222

出现的错误摘要:

Caused by: java.io.IOException:Mismatch in length of source:hdfs://hdfs-ha/apps/hbase/data/WALs/core-06/backup/hbase_bk_20171222/.distcp.tmp.attempt_1506497058251_3878_m_000000_1

at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.compareFileLengths(RetriableFileCopyCommand.java:193)

at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doCopy(RetriableFileCopyCommand.java:126)

最大可能的原因是由于文件未关闭而影响了distcp作业执行,验证一下是不是,查看这个文件状态:

[hdfs@hmaster-1 ~]$ hdfs fsck hdfs://hdfs-ha/apps/hbase/data/WALs/core-06,16020,1513713156134-splitting/core-06%2C16020%2C1513713156134.default.1513946044353

Connecting to namenode via http://hmaster-1.ksc.com:50070/fsck?ugi=hdfs&path=%2Fapps%2Fhbase%2Fdata%2FWALs%2Fcore-06%2C16020%2C1513713156134-splitting%2Fcore-06%252C16020%252C1513713156134.default.1513946044353

FSCK started by hdfs (auth:SIMPLE) from /172.31.0.10 for path /apps/hbase/data/WALs/core-06,16020,1513713156134-splitting/core-06%2C16020%2C1513713156134.default.1513946044353  at Fri Dec 22 22:18:06 CST 2017

.Status: HEALTHY

 Total size: 16004696 B

 Total dirs: 0

 Total files: 1

 Total symlinks: 0

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值