MapReduce运行流程详解

在MapReduce运行过程中,在上层主要有四个主体:
客户端:提交MR任务
JobTracker:协调作业的运行,主类为JobTracker
TastTracker:运行作用划分后的任务,主类为TastTracker
共享文件系统:在其他实体之间共享文件,一般为HDFS

MR工作机制

MR工作机制
1.提交作业:
客户端启动一个Job;并向JobTracker请求一个作业ID,JobTracker检查作业输出(有没有指定输出路径、输出目录是否已存在)计算作业的输出切片;JobTracker会返回一个作业ID和资源的提交路径;客户端将资源(jar文件、xml配置文件、分片信息)提交到共享文件系统上;客户端向JobTracker提交Job。
2.作业调度:
JobTracker将提交的作业放在内部的任务队列,作业调度器对其调度(具体的调度策略之后说明),并初始化作业(创建一个表示正在运行作业的对象,原来封装任务与记录信息);JobTracker的作业调度器从共享文件系统中获取客户端的分片信息,创建任务执行列表(m

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值