-
定义
map:俗称--映射,map之后元素个数不变
如:
x --> (x,1)
y --> (y,1)
z --> (z,1)reduce:俗称--规约,reduce之后元素个数<=当前个数(把key相同的元素,拉倒一起)
如:
x --> (x,1)
x --> (x,1) -->>(x,1+1+1)
x --> (x,1) -
mapReduce架构
MR job提交到Yarn的工作流程==Yarn架构设计==Yarn工作流程
-
shuffle
map->shuffle->reduce
理解:key相同的元素通过网络IO放到一起,进行业务计算
参考:http://blog.itpub.net/30089851/viewspace-2095837/
-
常用命令
mapred
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31558266/viewspace-2216357/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/31558266/viewspace-2216357/