关闭

hadoop一些基本知识——Mapreduce 整个工作机制图

标签: hadoop
506人阅读 评论(0) 收藏 举报
分类:

图一

图二

图中1:表示待处理数据,比如日志,比如单词计数
图中2:表示map阶段,对他们split,然后送到不同分区
图中3:表示reduce阶段,对这些数据整合处理。
图中4:表示二次mapreduce,这个是mapreduce的链式。

这里有个问题:输出的mapreduce结果,需要进入下一个mapreduce,该怎么解决?请看
“让你真正明白什么是MapReduce组合式,迭代式,链式-大数据(hadoop系列)学习-about云开发”
http://www.aboutyun.com/thread-7435-1-1.html
暂时在这里mark一下以后学完再总结

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:72870次
    • 积分:1101
    • 等级:
    • 排名:千里之外
    • 原创:28篇
    • 转载:40篇
    • 译文:1篇
    • 评论:22条
    文章分类
    最新评论