3.1介绍通过本地聚合减少网络的传输量
第一种方法,通过在map中使用HashMap来聚合数据,HashMap的key是map中的key
为了避免可能的内存溢出,可以对输入的行进行计数,当达到一定的行数的时候,将map全部输出,或者将出现次数低的输出,保留出现次数多的key,与后续的数据融合。
mapreduce框架不保证combiner每次都能调用,在计算均值的时候,reducer不能当做combiner来用。这时候也不能写一个与reducer不同的combiner,因为combiner不能改变输输入输出的类型,并且是可选的,如果改了,reduce就无法识别输入了。
3.2介绍两种设计模式 pairs 和 stripes
举例如何计算词共现矩阵。词共现矩阵考察一句话中两个词共现的的频率。
pairs map输出的方式如下Emit(pair (w; u); count 1);
stripes的map输出方式:Emit(Term w; Stripe H);其中H是一个HashMap,两层for循环都完成以后才输出一个。
3.3介绍相对频率
3.4介绍二次排序
3.5排序的不同方法:map端的,reduce端的,memory-backed的方式