博客讲述了在执行MapReduce任务时遇到`org.apache.hadoop.hdfs.BlockMissingException`异常的情况。首先尝试通过在shell脚本中删除损坏块解决问题，但任务依然失败。接着排查通信问题，并怀疑可能与此异常有关。第二天通过调整MapReduce任务的参数，如设置`mapreduce.input.fileinputformat.split.maxsize`为128MB并使用`CombineTextInputFormat`，显著减少了map任务数量，从而大幅缩短任务运行时间，但最终任务仍然失败。这表明问题可能隐藏在其他深层次的配置或系统状态中。
1. 执行任务前，在shell脚本里已删除损坏的块
./hdfs fsck /.../ -delete
任务仍然失败了，报这个异常。
检查块还是健康的
./hdfs fsck /.../ -files
2. 通信问题可能导致这个异常
追根溯源
package org.apache.hadoop.hdfs;
package org.apache.hadoop.hdfs;
========================================================
第二天早上来看，任务又失败了
#合并小文件#，原来
3万+
3032
6097
2536
793
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
