Hadoop1.x MapReduce 程序执行的详细过程




         1.Job类初始化JobClient实例,JobClient中生成JobTracker的RPC实例,这样可以保持与JobTracker的通讯,JobTracker的地址和端口等都是外部配置的,通过Configuration对象读取并且传入。
         2.JobClient提交作业。
         3.JobClient生成作业目录。
         4.从本地拷贝 MapReduce 的作业jar文件
         5.如果DistributedCache中有需要的数据,从DistributedCache中拷贝这部分数据。
         6.根据InputFormat实例,实现输入数据的split,在作业目录上生成job.split和job.splitmetainfo文件。
         7.将配置文件写入到作业目录的job.xml文件中。
         8.JobClient和JobTracker通讯,提交作业。
         9.JobTracker将job加入到job队列中。
         10.JobTracker的TaskScheduler(任务调度器)对job队列进行调度。
         11.TaskTracker通过心跳和JobTracker保持联系,JobTracker收到后根据心跳带来的数据,判断是否可以分配给TaskTracker Task,TaskScheduler会对Task进行分配。
         12.TaskTracker启动TaskRunner实例,在TaskRunner中启动单独的JVM进行Mapper运行。
         13.Map端会从HDFS中读取输入数据,执行之后Map输出数据先是在内存当中,当达到阀值后,split到硬盘上面,在此过程中如果有combiner的话要进行combiner,当然sort是肯定要进行的。
         14.Map结束了,Reduce开始运行,从Map端拷贝数据,称为shuffle阶段,之后执行reduce输出结果数据。
         15.当jobtracker收到作业最后一个任务完成通知后,便把作业的状态设置为“完成”。
         16.在jobclient查询状态时,便知道任务已经完成,于是从runjob()方法返回。  
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值