MapReduce之combine

Combine优化机制简介 

MapReduce框架的运作基于键值对，即数据的输入是键值对，生成的结果也是存放在集合里的键值对，其中键值对的值也是一个集合，一个MapReduce任务的执行过程以及数据输入输出的类型如下所示，这里我们定义list表示集合： 

　　map（K1， V1） -> list（K2， V2） 
　　combine（K2， list（V2）） -> list（K2， V2） 
　　reduce（K2， list（V2）） -> list（K3， V3） 
　　map函数操作所产生的键值对会作为combine函数的输入，经combine函数处理后再送到reduce函数进行处理，减少了写入磁盘的数据量，同时也减少了网络中键值对的传输量。在Map端，用户自定义实现的Combine优化机制类Combiner在执行Map端任务的节点本身运行，相当于对map函数的输出做了一次reduce。 
　　集群上的可用带宽往往是有限的，产生的中间临时数据量很大时就会出现性能瓶颈，因此尽量避免Map端任务和Reduce端任务之间大量的数据传输是很重要的。使用Combine机制的意义就在于使Map端输出更紧凑，使得写到本地磁盘和传给Reduce端的数据更少[1]。 

　　选用Combine机制下的Combiner虽然减少了IO，但是等于多做了一次reduce，所以应该查看作业日志来判断combine函数的输出记录数是否明显少于输入记录的数量，以确定这种减少和花费额外的时间来运行Combiner相比是否值得。 

总结：

1、combine可以理解为是在map端的reduce的操作 对单个map任务的输出结果数据进行合并的操作
2、combine是作为一个优化手段，可选项，不是所有的MR程序都适合combine
3、combine的优化是一定不能够改变最终的输出的结果
4、好处：
-》减少网络的传输
-》减轻磁盘IO负载
5、适合的场景：比如求最大值，求和，不适合比如求中间值
6、combine是对一个map的，而reduce合并的对象是对于多个map