场景:一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务。如在日志解析系统中,会分为拆分、session_id,、上下文三个job。
在map/reduce迭代过程中,思想还是比较简单,就像类似for循环一样,前一个mapreduce的输出结果,作为下一个mapreduce的输入,任务完成后中间结果都可以删除。
如代码:
Configuration conf = new Configuration();
场景:一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务。如在日志解析系统中,会分为拆分、session_id,、上下文三个job。
在map/reduce迭代过程中,思想还是比较简单,就像类似for循环一样,前一个mapreduce的输出结果,作为下一个mapreduce的输入,任务完成后中间结果都可以删除。
如代码:
Configuration conf = new Configuration();