MapReduce 作业的生命周期

# 最近在看Hadoop技术内幕之深入解析MapReduce架构设计与实现原理一书,可能会把我以为比较重要的知识点或模块通过博客记录下来,留给自己和大家。这本书也是刚刚开始看,加上以前自己对MapReduce的理解,如果有什么错的地方,请大家指出。


今天就说一下MapReduce作业的生命周期,如下图(来自Hadoop技术内幕一书):



  1. 当用户 (Application)提交作业后,JobClient 将作业所需要的相关文件上传到HDFS,并通过RPC(远程调用协议)通知 JobTracker
  2. JobTracker 内 的任务调度模块 为作业 创建一个JobInProgress对象,用来跟踪作业的实时运行状况
  3. JobInProgress 为每个 Task 创建一个 TaskInProgress 对象,用来跟踪子任务的运行状态。
  4. TaskTracker 为任务运行准备环境 , 每个TaskTracker可以运行多个Task,TaskTracher会为每个Task启动一个独立的JVM以避免Task之间的相互影响
  5. 环境准备完毕后,TaskTracker便会启动Task。
  6. 所有的Task执行完毕,MapReudce作业生命周期结束。

谢谢。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值