mapreduce

1. Hadoop学习笔记：MapReduce框架详解

2.       MapReduce高级编程

3.      mr经典案例

1. map的输出<key，value>经过shuffle过程聚集成<key，value-list>后会交给reduce
2. reduce的输入每个key所对应的value将是一大串1，但处理的文本很多时，这一串1已将占用很大的带宽，如果我们在map的输出给于reduce之前做一下合并或计算，那么传给reduce的数据就会少很多，减轻了网络压力。此时Combiner就排上用场了。我们现在本地把Map的输出做一个合并计算，把具有相同key的1做一个计算，然后再把此输出作为reduce的输入，这样传给reduce的数据就少了很多。
Combiner是用reducer来定义的，多数的情况下Combiner和reduce处理的是同一种逻辑，所以job.setCombinerClass()的参数可以直接使用定义的reduce，当然也可以单独去定义一个有别于reduce的Combiner，继承Reducer，写法基本上定义reduce一样。
3. 熟悉MapReduce过程的读者会很快想到在MapReduce过程中就有排序，在使用之前首先需要了解它的默认排序规则。它是按照key值进行排序的，如果key为封装int的IntWritable类型，那么MapReduce按照数字大小对key排序，如果key为封装为String的Text类型，那么MapReduce按照字典顺序对字符串排序。

调节map和reduce的个数

http://irwenqiang.iteye.com/blog/1535809

http://blog.csdn.net/wf1982/article/details/6672607

http://www.songyafei.cn/post/a0d5b_140a7cf