hadoop一些基本知识——Mapreduce 整个工作机制图

转载 2015年07月07日 15:25:27

图一

图二

图中1:表示待处理数据,比如日志,比如单词计数
图中2:表示map阶段,对他们split,然后送到不同分区
图中3:表示reduce阶段,对这些数据整合处理。
图中4:表示二次mapreduce,这个是mapreduce的链式。

这里有个问题:输出的mapreduce结果,需要进入下一个mapreduce,该怎么解决?请看
“让你真正明白什么是MapReduce组合式,迭代式,链式-大数据(hadoop系列)学习-about云开发”
http://www.aboutyun.com/thread-7435-1-1.html
暂时在这里mark一下以后学完再总结

Hadoop2.6(新版本)----MapReduce工作原理

最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce...
  • tanggao1314
  • tanggao1314
  • 2016年04月28日 17:01
  • 19746

MR-3.Hadoop使用YARN运行MapReduce工作原理

运行一个MapReduce的作业,可以调用job对象的submit()方法(一般调用job的的waitForCompletion),主要是提交一个job。 整个作业的提交过程,涉及5个重要的实体对象:...
  • shenfuli
  • shenfuli
  • 2016年01月29日 16:21
  • 1734

【Hadoop入门学习系列之四】MapReduce 2.0应用场景和原理、基本架构和编程模型

一.MapReduce的应用场景1.MapReduce特点 易于编程  良好的扩展性  高容错性  适合PB级以上海量数据的离线处理 备注:*MR的最后一个特性就注定了它的应用场景的特...
  • shengmingqijiquan
  • shengmingqijiquan
  • 2016年10月24日 15:11
  • 1732

Hadoop学习笔记(7)-简述MapReduce计算框架原理

1. MapReduce基本编程模型和框架1.1 MapReduce抽象模型大数据计算的核心思想是:分而治之。如下图1所示。把大量的数据划分开来,分配给各个子任务来完成。再将结果合并到一起输出。 注...
  • xummgg
  • xummgg
  • 2016年05月30日 21:08
  • 2234

Hadoop—MapReduce计算气象温度等例子---练习

1 运行环境说明 1.1  硬软件环境 l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,6G内存 l  虚拟软件:VMware® Workstation 9.0.0 ...
  • u013337889
  • u013337889
  • 2015年07月19日 10:37
  • 2792

Hadoop学习笔记(二):MapReduce的进度和状态

MapReduce的状态和进度
  • u014313009
  • u014313009
  • 2014年07月22日 17:01
  • 3330

hadoop面试题集锦

Q1. Name the most common InputFormats defined in Hadoop? Which one is default ?  Following 2 are mo...
  • net19880504
  • net19880504
  • 2014年07月31日 23:27
  • 7332

Hadoop MapReduce之作业提交(客户端)

Hadoop MapReduce之jar文件上传    在提交作业时,我们经常会执行下面类似命令:hadoop jar wordcount.jar test.WordCount,然后等待作业完成,查看...
  • lihm0_1
  • lihm0_1
  • 2013年10月30日 16:08
  • 4213

MapReduce执行流程

MapReduce的大体流程是这样的,如图所示: 由图片可以看到mapreduce执行下来主要包含这样几个步骤 1.首先对输入数据源进行切片 2.master调度worker执行map任务 ...
  • JavaMan_chen
  • JavaMan_chen
  • 2013年02月07日 18:17
  • 19228

mapreduce框架中的全局变量的设置

最近刚完成了一个基于mapreduce的autoencoder并行算法设计与实现,打算写一篇代码剖析,在此之前先整理一下用到的几个技术点。 ------------------------------...
  • coder_farmer_2015
  • coder_farmer_2015
  • 2015年03月25日 19:05
  • 2100
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop一些基本知识——Mapreduce 整个工作机制图
举报原因:
原因补充:

(最多只允许输入30个字)