- 博客(1)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop核心逻辑shuffle代码分析-reduce端
接上篇文章，下面是reduce端的过程分析。大概介绍下reduce的实际作用。以mapreduce经常做的groupby为例，map是将输入按group by的key排序，reduce就是做各种类型的聚合，比如sum，max，mean等。因此，可想而知，reduce的输入必须是按照groupby排序的，所以自然，reduce的输入必须汇聚所有map的输入，这也是reduce框架最复杂的
2013-04-01 23:34:40
7521
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人