1. 执行任务前,在shell脚本里已删除损坏的块
./hdfs fsck /.../ -delete
任务仍然失败了,报这个异常。
检查块还是健康的
./hdfs fsck /.../ -files
2. 通信问题可能导致这个异常
追根溯源
package org.apache.hadoop.hdfs;
package org.apache.hadoop.hdfs;
========================================================
第二天早上来看,任务又失败了
#合并小文件#,原来