- 博客(6)
- 资源 (18)
- 问答 (2)
- 收藏
- 关注
原创 Hadoop1.2.1源码解析系列:JobTracker(一)——JobTracker初始化
JobTracker是hadoop的mapreduce框架中最重要的一个类,这个类负责整个集群的作业控制和资源管理,所以深入了解它是很有必要的。本文从main方法着手对JobTracker的启动进行了解析,描述了JobTracker的初始化以及启动一些重要线程的功能,后面会继续对其他部分进行解析。
2013-11-24 23:52:06 3172
原创 FairScheduler job初始化过程源码浅析
上一篇文章说到了jobTracker中的submitJob()方法,这个方法最终会调用listener.jobAdded(job),将Job注册到TaskScheduler中,由其进行调度。今天接着研究。hadoop中默认的TaskScheduler是JobQueueTaskScheduler,采用的是FIFO(先进先出)原则进行调度,还有FiarScheduler和CapacityTaskSch
2013-11-21 22:31:59 2127
原创 Hadoop JobTracker提交job源码浅析
上一篇文章说到jobClient提交job的过程,这篇文章是接着上一篇文章继续写的。 上一篇说到jobSubmitClient.submitJob( jobId, submitJobDir.toString(), jobCopy.getCredentials())这里,这里就是jobTracker进行job的提交过程,还有一个JobSubmissionProtocol的实现是LocalJobRu
2013-11-20 00:29:19 2035
原创 hadoop job初始化源码浅析
hadoop的job提交过程相对来说还是有点复杂的,所以在学习源码的时候会显得有些乱,时常看了后面忘了前面,所以在看了多遍之后决定用文章的方式记录下来,一边自己下次再看的时候能够清晰些,同时也为初次接触这方面源码的同学提供一些帮助吧。希望自己可以写的足够详细。(本文针对hadoop1.2.1) 1.job.waitForCompletion:一般情况下我们提交一个job都是通过job.waitF
2013-11-18 23:59:45 3116
转载 Redis2.6安装报错
先确保Linux已安装gcc zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory zmalloc.h:55:2: error: #error "Newer version of jemalloc required" make[1]: *** [adlist.o] Error 1 make[1]
2013-11-01 16:30:27 1467
Spring如何实现针对非单例的Controller进行AOP代理
2017-01-07
学习struts convention报错,搞不定,求支援
2015-03-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人