mapreduce的工作机制(yarn简介),以及mapreduce1和mapreduce2的区别

https://www.cnblogs.com/frankdeng/p/9311474.html

http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-resource-manager/

mapreduce1中工作机制主要包括客户端,jobtracker,tasktracker

  1. Jobtracker协调作业的运行
  2. Tasktracket负贵运行作业划分之后的任务
  • 客户端向jobtracker请求一个新的作业,检查作业的输出路径是否存在,若存在则抛出异常。然后job向客户端返回job相关资源的提交路径以及jobid
  • 客户端将job所需的资源(jar文件、配量文件)提交到共享文件系统(hdfs)
  • 告知jobtracker已将job所需的资源复制到共享文件系统,准备执行。
  • jobtracker将提交的job放入内部的任务队列,由作业调度器进行调度,并进行初始化(包括创建一个表示正在运行作业的对象,用于封装任务和记录信息)
  • jobtracker的作业调度器从共享文件系统获取客户端计算好的输入分片,以创建任务运行列表。
  • tasktracker通过心跳与jobtracker保持通信,报告自己的状态,以及是否准备好运行一个task,若是则jobtracker通过一定的调度算法分配一个task分配给tasktracker.
  • <
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值