Hadoop之JobTracker，TaskTracker，Scheduler

DataNode 和NameNode 是针对数据存放来而言的

JobTracker和TaskTracker是对于MapReduce执行而言的

[size=x-large][b]一：JobTracker[/b][/size]

JobTracker协作作业的运行：
[color=red][b]负责调度分配每一个子任务task运行于TaskTracker上，如果发现有失败的task就重新分配其任务到其他节点。[/b][/color]

一般情况应该把JobTracker部署在单独的机器上。JobTracker与TaskTracker把持心跳；

[color=blue][b]JobTracker失败：[/b][/color]

1：JobTracker失败在所有的失败中是最严重的一种；

2：hadoop没有处理jobtracker失败的机制。--它是一个单点故障。

3：在未来的新版本中可能可以运行多个JobTracker。（hadoop2.0以后）

4：可以使用ZooKeeper来协作JobTracker。（以后会有zookeeper专题）

[size=x-large][b]二：TaskTracker[/b][/size]

TaskTracker运行作业划分后的任务
TaskTracker是运行在多个节点上的slaver服务。
TaskTracker主动与JobTracker通信，接收作业，并负责直接
执行每一个任务，[color=red][b]为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上[/b][/color]；


[color=blue][b]TaskTracker失败：[/b][/color]

1：一个TaskTracker由于崩溃或运行过于缓慢而失败，它会向JobTracker发送“心跳”。

2：如果有未完成的作业，[color=red][b]JobTracker会重新把这些任务分配到其他的TaskTracker上面运行。[/b][/color]

3：即使TaskTracker没有失败也可以被JobTracker列入黑名单。

[size=x-large][b]三：hadoop调度器 Hadoop Job Scheduler[/b][/size]
Hadoop默认的调度器是基于队列的FIFO调度器：
所有用户的作业都被提交到一个队列中，然后由JobTracker先按照作业的优先级高低，再按照作业提交时间的先后顺序选择将被执行的作业。

优点：调度算法简单明了，JobTracker工作负担轻。
缺点：[b]忽略了不同作业的需求差异。[/b]

Fair Scheduler(公平调度器)：

1：多个Pool，Job需要被提交到某个Pool中；

2：每个pool可以设置最小 task slot（猜测最小的job数），称为miniShare

3：FS会保证Pool的公平，Pool内部支持Priority（优先级）设置，支持资源抢占（优先级）


转自：[url]http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/23/3036497.html[/url]