Map-Reduce体系结构学习笔记一

一.Mapper

负责“分”。把复杂到任务分解为若干个“简单的任务”执行。

二.Reducer

1.对map阶段的结果进行汇总。

2.reducer的数目：由mapred-site.xml文件里mapred.reduce.tasks决定。

三.Shuffler（mapper和reducer直接的一个过程）

1.把mapper的输出按某种key值重新切分并组合成n份。

2.把符合某范围的key值输出送到特定的reducer那处理。

注：在执行过程中，访问http://192.168.1.102;50030/jobtracker.job可以显示作业的运行情况