今天写了一个mapreduce程序,运行一直是io异常,经调试觉得错误很诡异,无法理解。
折腾了很久发现,是由于combine过程我是直接简单的调用了Reduce函数,但实际上在我的这个场景里,combine和Reduce是不一样的。
记录一下,如果大家遇到类似的诡异的错误,也可以考虑一下combine的问题。是一种纠错思路吧。
今天写了一个mapreduce程序,运行一直是io异常,经调试觉得错误很诡异,无法理解。
折腾了很久发现,是由于combine过程我是直接简单的调用了Reduce函数,但实际上在我的这个场景里,combine和Reduce是不一样的。
记录一下,如果大家遇到类似的诡异的错误,也可以考虑一下combine的问题。是一种纠错思路吧。