- 博客(5)
- 资源 (18)
- 问答 (2)
- 收藏
- 关注
原创 FairScheduler的任务调度机制——assignTasks(续)
上一篇文章浅析了FairScheduler的assignTasks()方法,介绍了FairScheduler任务调度的原理。略过了最后一步通过JobScheduler获取Task时调用JobInProgress的五个方法:obtainNewNodeLocalMapTask(),obtainNewNodeOrRackLocalMapTask(),obtainNewMapTask(),obtainNe
2013-12-15 20:49:47 2047
原创 FairScheduler的任务调度机制——assignTasks
本文简单介绍FairScheduler在进行任务调度时的方式,如果选择合适的Job,以及如何选择合适的Task。Hadoop有三种不同的任务调度策略(自带的FIFO,以及第三方的FairScheduler和CapacityScheduler),本文介绍的是FairScheduler的调度方式。
2013-12-11 00:33:02 4285
原创 Hadoop1.2.1源码解析系列:JT与TT之间的心跳通信机制——命令篇
简单介绍Hadoop心跳机制中JT对TT下达的五种命令:ReinitTrackerAction,KillTaskAction,KillJobAction,CommitTaskAction,LaunchTaskAction。TT在接收到每个命令时的处理方式都是不一样的,这里简单介绍了每个命令的含义,以及JT如何下达每个命令的,以及TT在接收到命令时的处理方式是什么。
2013-12-07 22:17:07 2021
原创 Hadoop1.2.1源码解析系列:JT与TT之间的心跳通信机制——JT篇
上一篇浅析了Hadoop心跳机制的TT(TaskTracker)方面,这一篇浅析下JT(JobTracker)方面。我们知道心跳是TT通过RPC请求调用JT的heartbeat()方法的,TT在调用JT的heartbeat回收集自身的状态信息封装到TaskTrackerStatus对象中,传递给JT。下面看看JT如何处理来自TT的心跳。
2013-12-05 00:36:12 3828 4
原创 Hadoop1.2.1源码解析系列:JT与TT之间的心跳通信机制——TT篇
JobTracker与TaskTracker之间的通信机制——心跳机制,是MapReduce中一个重要的知识点,了解该方法可以更好地了解JobTracker如何判断一个TaskTracker是否或者,以及如何获取每个TaskTracker的资源使用情况,以及如何为一个TaskTracker分配任务。
2013-12-03 23:37:04 3368
Spring如何实现针对非单例的Controller进行AOP代理
2017-01-07
学习struts convention报错,搞不定,求支援
2015-03-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人