JobTracker和TaskTracker

转载 2017年01月03日 09:42:13

一、概述

MapReduce采用Master/Slave结构。
*Master:整个集群的唯一的全局管理者,功能包括:作业管理、状态监控和任务调度等,即MapReduce中的JobTracker。
*Slave:负责任务的执行和任务状态的回报,即MapReduce中的TaskTracker。
JobTracker对应于NameNode,TaskTracker对应于DataNode。NameNode和DataNode是针对数据存放而言的,JobTracker和TaskTracker是针对于MapReduce执行而言的。
MapReduce中几个主要概念,MapReduce整体上可以分为这么几条执行线索:JobClient,JobTracker与TaskTracker。

  1. JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs,并把路径提交到JobTracker,然后由JobTracker 创建每一个Trask(即MapTask和ReduceTask)并将它们分发到各个TaskTracker服务中执行
  2. JobTracker是一个Master服务,服务启动之后JobTracker接收Job,负责调度Job的每一个TaskTracker上,并监控他们,如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
  3. TaskTracker是运行在多个节点上的Slaver服务。TaskTracker主动与JobTracker通信,接收作业,并负责直接执行每一个任务。
  4. TaskTracker都需要运行在HDFS的DataNode上。

二、JobTracker剖析

(1)概述:JobTracker是一个后台服务进程,启动之后,会一直监听并接受来自各个TaskTracker发送的心跳信息,包括资源使用情况和任务运行情况等信息

(2)JobTracker的主要功能:

  1. 作业控制:在hadoop中每个应用程序被表示成一个作业,每个作业又被分成多个任务,JobTracker的作业控制模块则负责作业的分解和状态监控

    *最重要的是状态监控:主要包括TaskTracker状态监控、作业状态监控和任务状态监控。主要作用:容错和胃任务调度提供决策依据

  2. 资源管理

三、TaskTracker 剖析

(1)TaskTracker概述:TaskTracker是JobTracker和Task之间的桥梁:一方面,从JobTracker接收并执行各种命令:运行任务、提交任务、杀死任务等;另一方面,将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker。TaskTracker与JobTracker和Task之间采用了RPC协议进行通信。
(2)TaskTracker的功能:

  1. 汇报心跳:Tracker周期性将所有节点上各种信息通过心跳机制汇报给JobTracker。这些信息包括两部分:
    *机器级别信息:节点健康情况、资源使用情况等。
    *任务级别信息:任务执行进度、任务运行状态等。

  2. 执行命令:JobTracker会给TaskTracker下达各种命令,主要包括:启动任务、提交任务、杀死任务、杀死作业和重新初始化

JobTracker作业启动过程分析

在Hadoop中,启动作业运行的方式有很多,可以用命令行格式把打包好后的作业提交还可以,用Hadoop的插件进行应用开发,在这么多的方式中,都会必经过一个流程,作业会以JobInProgress的形式...
  • Androidlushangderen
  • Androidlushangderen
  • 2014年11月21日 19:34
  • 2728

从hadoop发展角度彻底明白hadoop1.x与hadoop2.x的区别

问题导读 1.hadoop1.x改造如果是两个jobtraker,你认为解决了什么问题? 2.hadoop1.x改造如果是两个jobtraker,你认为未解决了什么问题? 3.你如何看待ha...
  • u012117710
  • u012117710
  • 2016年12月13日 11:41
  • 2488

Oozie 与 Yarn 协同工作

记录一下Oozie针对于Yarn的安装和配置流程。本文Oozie的版本为3.3.2,Hadoop为2.2。...
  • samhacker
  • samhacker
  • 2014年03月17日 22:58
  • 4749

hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker 、TaskTracker介绍

问题导读:1.job的本质是什么? 2.任务的本质是什么? 3.文件系统的Namespace由谁来管理,Namespace的作用是什么? 4.Namespace 镜像文件(Namespace i...
  • zsmissyou
  • zsmissyou
  • 2016年11月29日 21:27
  • 344

【Mapred】jobtracker & tasktracker架构作业是怎么提交的

Streaming那一套就先不管了,提交作业部分的代码肯定是一样的,只不过客户端提交的方式不一样。 很多人都从wordCount看起,看吧,我擦。 Configuration conf = new C...
  • tracymkgld
  • tracymkgld
  • 2013年12月26日 12:03
  • 1228

Hadoop集群中JobTracker和TaskTracker启动耗时过多的原因分析

在正式环境中,我们遇到一个这样的问题:配置更改后,需要重启JobTracker和TaskTracker节点的进程。在重启过程中,JobTracker和TaskTracker进程都很快启动完成,但是查看...
  • Pun_C
  • Pun_C
  • 2015年03月07日 17:35
  • 955

Hadoop学习笔记,MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系

一、基本概念   在MapReduce中,一个准备提交执行的应用程序称为“作业(job)”,而从一个作业划分出的运行于各个计算节点的工作单元称为“任务(task)”。此外,Hadoop提供的分布...
  • a30164
  • a30164
  • 2015年11月04日 21:24
  • 1379

MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系

一、基本概念   在MapReduce中,一个准备提交执行的应用程序称为“作业(job)”,而从一个作业划分出的运行于各个计算节点的工作单元称为“任务(task)”。此外,Hadoop提供的分布...
  • haihongazar
  • haihongazar
  • 2016年09月13日 18:26
  • 658

Jobtracker向Tasktracker下发命令

在Jobtracker更新状态以后,Jobtracker要为Tasktracker构造一个HeartbeatResponse对象作为心跳应答,该对象主要有2个部分内容:下达给Tasktracker的命...
  • paicMis
  • paicMis
  • 2016年09月26日 23:23
  • 567

【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法

start-all.sh和jps后出现一下问题 root@ubuntu:/opt/hadoop-0.20.2/bin# sh start-all.sh starting namenode, loggi...
  • u013488563
  • u013488563
  • 2015年07月20日 14:55
  • 1890
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:JobTracker和TaskTracker
举报原因:
原因补充:

(最多只允许输入30个字)