mapreduce过程分析

淘宝数据平台团队给出的分析过程
[url]http://www.tbdata.org/archives/1470[/url]
比较全面。
这里还要注意的是关于combiner,设置combiner函数后整个mapreducer过程中其实有三处地方会调用到。
第一处是map端数据从内存spill到文件的时候，这个时候会在环形缓冲区中进行分区及key的排序，然后调用combiner函数来压缩写入文件的数据量，调用过后再溢写到spill文件中。
第二处地方是多个spill文件合并为最终的map输出文件，这个时候首先会去校验spill次数，默认为3（个人觉得此处默认为2可能更合适），如果spill次数大于三次就发生combiner。
第三处则发生在reducer端，当数据从reducer端的内存中溢写到中间文件的时候也会发生调用。
从这三处调用中可以很明显的看出只要发生内存到文件的溢写，就会调用combiner，combiner函数的作用就是压缩数据，减少数据流量，以CPU换IO，跟compress本质上是一样的。
所以尽量避免在combiner函数中引入过多的逻辑层面计算，第一是因为combiner调用的次数不可控，其次是combiner函数本身的作用与reducer是毫不相同的。