MapReduce

1. 定义
   

   map：俗称--映射，map之后元素个数不变

   如：

   x  --> (x,1) 
   y  --> (y,1)
   z  --> (z,1)
   

   reduce:俗称--规约，reduce之后元素个数<=当前个数（把key相同的元素，拉倒一起）

   如：

   x --> (x,1)  
   x --> (x,1)    -->>(x,1+1+1)
   x --> (x,1)

2. mapReduce架构

   MR job提交到Yarn的工作流程==Yarn架构设计==Yarn工作流程

3. shuffle

   map->shuffle->reduce

   理解：key相同的元素通过网络IO放到一起，进行业务计算

   参考：http://blog.itpub.net/30089851/viewspace-2095837/

4. 常用命令

   mapred

   
   

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31558266/viewspace-2216357/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31558266/viewspace-2216357/