hadoop细节——shuffle和combiner

1.将map输出传给reduce过程中需要排序（按键排序）的过程——shuffle。
2.每个map任务都有一个环形内存缓冲区（默认为100MB，可以通过改变io.sort.mb属性来调整），用于存储任务的输出，当缓冲区到达阀值时（io.sort.spill.percent,默认为0.8），新建一个溢出写文件，把内容写到磁盘，写磁盘将按照轮询方式写到mapred.local.dir所指定的目录。写磁盘时可以压缩map输出，使得写磁盘的速度更快，节约磁盘空间，减少传给reducer的数据量。
3.在map输出写磁盘之前，线程会根据最终传送到reduce把数据划分为相应的分区，在每个分区中，按键排序，如有一个combiner函数，它会在排序后的输出上运行。
4.map输出文件位于运行map任务的tasktracker的本地磁盘，reduce任务会复制map输出，如果map输出很小，就复制到reduce tasktracker的内存中，否则复制到磁盘。复制完map输出后，reduce任务进入排序阶段，合并map输出，在reduce阶段，对已排序的每个键都要使用reduce函数。
5.一个小问题：reducer如何知道从哪个tasktracker取得map输出？
答:map任务完成后会通知tasktracker，tasktracker会通知jobtracker，jobtracker知道map输出和tasktracker之间的映射关系，reduce定期询问jobtracker获取map输出的位置。
6.map任务的输出可以指定一个combiner函数，无论调用多少次此函数，reduce结果都一样。
7.合并函数是通过reducer接口来定义的，有时它与reduce函数一样。 conf.setCombinerClass(**.class)
8.combiner的意义是使得map输出更加紧凑，使得写到本地磁盘和传给reducer的数据更小。