MapReduce分布式编程

Eclipse中写入三个程序并运行




运行程序出现错误(null) entry in command string: null chmod 0700
参考此链接进行解决https://ask.hellobi.com/blog/jack/5063

运行成功

小结：
Map函数接受一个输入的key-value对，然后产生一个中间key-value 对的集合。MapReduce库把所有具有相同中间key值I的中间value值集合在一起后传递给reduce函数。
Reduce函数接受一个中间key的值I和相关的value值的集合，合并这些value值，形成一个较小的value值的集合。
对输入的key-value的理解：这里的key-value是概念上的，很泛型的，比如key是一个文件名，value是其内容。而map产生的key-value对不同于其输入的key-value类型。
工作流程
程序调用mapreduce后，
mapper负责分解计算，reduce负责汇总map阶段的计算。
MapReduce的运行很顺利，几乎没有出过问题，除了上方的问题外其他问题也就是代码问题，还有一个问题就是运行过一次的代码再运行一次会出现文件已存在问题，删除对应的文件即可重新运行程序。