关于Too many fetch-failures错误

liangliyin

于 2011-05-30 22:22:00 发布

阅读量6.8k

点赞数

分类专栏： Hadoop 文章标签： output

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/liangliyin/article/details/6455713

版权

Reduce任务在shuffle阶段遇到fetch失败问题，每次fetch可能由于连接超时、读取超时或校验和错误导致。当每个map的fetch失败次数达到预设阈值（默认6次），Reduce任务会报告给JobTracker。若超过50%的Reduce任务报告fetch同一map输出失败，JobTracker将终止该map任务并重新调度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Reduce task启动后第一个阶段是shuffle，即向map端fetch数据。每次fetch都可能因为connect超时，read超时，checksum错误等原因而失败。Reduce task为每个map

最低0.47元/天解锁文章

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。