hadoop combine 使用场景

         hadoop中的combine函数，本质上是一个本地的reducer。其设计初衷是在本地将需要reduce操作的数据就行合并，以减少不必要的通信代价，combine可以提高hadoop的运行性能。

         因为combine的输入是map的输出，combine的输出是reduce的输入， 而map的输出和reduce的输出是一致的，所以，我们需要确保combine的输入和输出是一样的， 另外还要考虑本地的reduce对最终的结果是否有影响，比如wordcount，他在本地做累加对最终的结果是没有影响，可以使用combine； 但是计算平均数就不行了，主要这个过程有信息的丢失。