Hadoop系列--Hadoop基本架构之MapReduce架构

1 MapReduce架构的组件组成

1.1 组件组成

  Hadoop的MapReduce架构主要由以下几个组件组成:Client、JobTracker、TaskTracker、Task。

1.2 MapReduce架构图

  如下图所示。
  架构

2 各组件详解

1.Client
  用户编写的MapReduce程序通过Client提交到JobTracker。
2.JobTracker
  参照上图。
  JobTracker主要负责资源监控和作业调度。
  
  JobTracker监控所有TaskTracker与作业的健康状况;
  
  同时,JobTracker会跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉调度器;
  调度器在资源出现空闲时选择合适的任务使用这些资源。另外,在Hadoop中,任务调度器是一个可插拔的模块,用户可以根据自己的需要设计相应的调度器。
3.TaskTracker
  参照上图。
  TaskTracker1通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,2同时接收JobTracker发送过来的命令并执行相应的操作,例如启动或终止任务。
4.Task
  参照上图。
  Task分为Map Task和Reduce Task两种,均由TaskTracker启动。

3 Map/Reduce执行流程详解

3.1 Map Task执行流程

  如下图所示。
  1.Map Task先将对应的split迭代解析成一个个key/value对;
  2.一次调用用户定义的map()函数进行处理;
  3.并将临时结果存放到本地磁盘上,其中临时数据被分成若干个partition,每个partition将被一个Reduce Task处理。
  map

3.2 Reduce Task执行流程

  如下图所示。
  1.从远程节点上读取Map Task中间结果,即为”Shuffle阶段”;
  2.按照key对key/value对进行排序,即为”Sort阶段”;
  3.以此读取key/value,调用用户的reduce()函数处理,并将最终结果存放到HDFS上,即为”Reduce阶段”。
  reduce
  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值