MapReduce的容错机制

前言:

MapReduce计算框架提供了很好的容错机制,本篇文章就是来介绍该框架是如何来容错的,我们可以从错误出现的情况来探讨该框架是如何容错的,常见的错误有作业错误、网络错误甚至数据错误。

  1. 任务出错
任务出错是比较常见的,引起错误的原因通常有低质量的代码、数据损坏、节点暂时性故障、一个任务出现下列三种情况的任意一种时被认为出错。
(1)抛出一个没有铺货的异常
(2)以一个非零值退出程序
(3)在一定的事件内没有向Tasktracker报告进度。
当TaskTracker检测到一个错误,TaskTracker将在下一次心跳里向JobTracker报告该错误,JobTracker收到报告的错误后,将会判断是否需要进行重试,如果是,则重新调度该任务。默认的尝试次数为4次,可以通过mapred-sit
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值