hadoop系列之JobTracker启动源码解析

最新推荐文章于 2021-12-01 21:18:32 发布

齐梦星空

最新推荐文章于 2021-12-01 21:18:32 发布

阅读量403

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/weixin_37275456/article/details/100664135

版权

本文深入解析Hadoop JobTracker的启动过程，包括初始化secretManager、aclsManager，启动RPC服务器、Web服务，资源调度器的实例化等。同时，探讨JobTracker如何处理任务提交，如启动taskScheduler，管理TaskTracker，以及作业恢复和历史记录服务。

摘要由CSDN通过智能技术生成

文章目录

- 一、Jobtracker启动
- - - JobTracker tracker = startTracker(new JobConf())` 主要对JobTracker 类进行一些必要的初始化.在初始化过程中有两个比较关键的地方:
    - 通过`tracker.offerService()`启动一些重要的后台进程
  - 二.JobTracker任务提交

本文是接着上一篇 hadoop系列之使用jar命令提交任务
在上一篇我们最后画了一张图：
在这里插入图片描述

我们再jobClient调用init()函数的时候通过RPC获得了一个Jobtracker实例。然后在job调用submitJobInternal()的时候又调用了jobtracker的submitJob().接下来我们从submitJob()函数讲解jobtracker.

一、Jobtracker启动

前面说到client通过RPC调用了Jobtracker的submitJob()操作，那Jobtracker作为RPC的服务端，在启动的时候又做了哪些事情呢?
Jobtracker是一个独立的后台进程,其启动显然是要从main函数启动

  public static void main(String argv[]
                          ) throws IOException, InterruptedException {
   
    StringUtils.startupShutdownMessage(JobTracker.class, argv, LOG);
    
    try {
   
      if(argv.length == 0) {
   
        JobTracker tracker = startTracker(new JobConf());
        tracker.offerService();
      }
      else {
   
        if ("-dumpConfiguration".equals(argv[0]) && argv.length == 1) {
   
          dumpConfiguration(new PrintWriter(System