MapReduce框架中map、reduce方法的运行机制
Hadoop的API中提供了Mapper和Reducer抽象类，分别有个抽象map()方法和reduce()方法，使用时只需实现该抽象类和抽象方法即可。
map()方法主要是将字符串解析成键值对（Key-Value）的形式，比如（Key=Hello，Value=1），然后发给Reducer端进行统计。
reduce()方法主要功能是：先获取map()方法的Key-Value结果；然后把相同的Key发送到同一个reduce里进行处理；在进行迭代Key，把Value相加；最后把结果写到HDFS系统中。
【尊重原创，转载请注明出处】http://blog.csdn.net/guyuealian/article/details/51354514
Hadoop的API中提供了Mapper和Reducer抽象类，分别有个抽象map()方法和reduce()方法，使用时只需实现该抽象类和抽象方法即可。
map()方法主要是将字符串解析成键值对（Key-Value）的形式，比如（Key=Hello，Value=1），然后发给Reducer端进行统计。
reduce()方法主要功能是：先获取map()方法的Key-Value结果；然后把相同的Key发送到同一个reduce里进行处理；在进行迭代Key，把Value相加；最后把结果写到HDFS系统中。
map()方法主要是将字符串解析成键值对（Key-Value）的形式，比如（Key=Hello，Value=1），然后发给Reducer端进行统计。
reduce()方法主要功能是：先获取map()方法的Key-Value结果；然后把相同的Key发送到同一个reduce里进行处理；在进行迭代Key，把Value相加；最后把结果写到HDFS系统中。
【尊重原创，转载请注明出处】http://blog.csdn.net/guyuealian/article/details/51354514
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
