hadoop一些基本知识——Mapreduce 整个工作机制图

图一

图二

图中1:表示待处理数据,比如日志,比如单词计数
图中2:表示map阶段,对他们split,然后送到不同分区
图中3:表示reduce阶段,对这些数据整合处理。
图中4:表示二次mapreduce,这个是mapreduce的链式。

这里有个问题:输出的mapreduce结果,需要进入下一个mapreduce,该怎么解决?请看
“让你真正明白什么是MapReduce组合式,迭代式,链式-大数据(hadoop系列)学习-about云开发”
http://www.aboutyun.com/thread-7435-1-1.html
暂时在这里mark一下以后学完再总结

阅读更多
文章标签: hadoop
个人分类: hadoop
想对作者说点什么? 我来说一句

Mapreduce 整个工作制图

JIAOSHOUJIE JIAOSHOUJIE

2014-07-11 09:24:53

阅读数:339

MapReduce工作制图

jingjbuer jingjbuer

2016-03-10 12:50:53

阅读数:335

没有更多推荐了,返回首页

不良信息举报

hadoop一些基本知识——Mapreduce 整个工作机制图

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭