关于MapReduce

角色：

执行MapReduce任务的角色：JobTracker,TaskTracker,一个Hadoop集群只有一个JobTracker,JobTracker负责管理和调度工作，TaskTracker负责执行工作。

 

数据流：

　　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　　MapReduce工作的简易图　　　　　　　　　　　　　　 　　　　

　　　　　　　　　　　　　　　　一个Reduce任务的MapReduce数据流 

 

 

 

　　　　　　　　　　　　　　　　　　　　　　多个Reduce任务的MapReduce数据流

　　　　　　　　　　　　　　　　　　　　　

 

　　　　　　　　　　　　　　　　　　　　无Reduce任务的MapReduce数据流

 

MapReduce任务优化：

MapReduce的任务优化自主集中在两个方面：1.计算性能方面的优化 2.I/O操作方面的优化，主要包含六项内容：

1.任务调度

　　Hadoop总会将优先任务分配给空闲的机器，使所有任务公平地分享系统资源

　　Hadoop会尽量将Map任务分配给InputSplit所在的机器以减少I/O操作。

2.数据预处理与InputSplit的大小

　　Hadoop擅长处理少量的大数据，而非大量的小数据。提交MapReduce job前进行预处理，合并数据以提高执行效率。

3.Map和Reduce任务的数量

　　合理设置Map任务和Reduce任务的数量对提高效率也使非常重要的。

　　MapReduce任务槽：MapReduce任务槽就是这个集群能够运行的最大任务量。

　　设置Map数量主要参考Map的运行时间，Reduce任务参考任务槽的数量即可，一般为任务槽的0.95或1.75倍

4.Combine函数

　　combine是一个本地合并数据的函数。MapReduce框架运行用户写的combine函数用于本地合并，减少网络I/O操作消耗

5.压缩

　　对Map的输出和最终的输出结果进行压缩，减少网络数据传输量。

6.自定义comparator

　　自定义数据类型，实现更复杂的目的。

 

Hadoop流：

Hadoop流就是UNIX标准流，不具体介绍。