MapReduce的容错性,其思路很简单,出问题的话,重做就是了:
1. map: 重执行
2. reduce: 重执行的话,需要保存中间数据,否则reduce一旦坏了的话,之前的取得的数据全部浪费了,这也是为什么reduce不使用诸如
消息机制传递数据的原因。
这样map和reduce实现了异步读写,同时其容错也得到了保证。
1. map: 重执行
2. reduce: 重执行的话,需要保存中间数据,否则reduce一旦坏了的话,之前的取得的数据全部浪费了,这也是为什么reduce不使用诸如
消息机制传递数据的原因。
这样map和reduce实现了异步读写,同时其容错也得到了保证。