hadoop源码分析
文章平均质量分 82
小玉歌
当时年少,无知是宝贵的财富
展开
-
Hadoop源码分析(三)--------------job提交过程分析(3)之job的split过程
现在让我们看一下job.split文件是怎么生成的,先看writeSplits()函数的源码: int maps =writeSplits(job, submitJobDir); private int writeSplits(org.apache.hadoop.mapreduce.JobContext job, Path jobSubmitDir) throwsIOE原创 2014-11-28 10:23:15 · 889 阅读 · 0 评论 -
Hadoop源码分析(二)----------job提交过程分析(2)
前面我们所分析的部分其实只是Hadoop作业提交的前奏曲,真正的作业提交代码是在MR程序的main里,RunJar在最后会动态调用这个main,在之前有说明。我们下面要做的就是要比RunJar更进一步,让作业提交能在编码时就可实现,就像HadoopEclipse Plugin那样可以对包含Mapper和Reducer的MR类直接Run on Hadoop。 一般来说,每个MR程序都会原创 2014-11-28 09:26:54 · 493 阅读 · 0 评论 -
Hahoop源码分析(一)-----------job提交过程分析(1)
源码分析基于hadoop-2.4.0版本,只是一个学习过程,希望自己能清楚理解这部分内容; bin/hadoop jar xxx.jar mainclass args …… 每次写好一个Project或对Project做修改后,都必须打个Jar包,然后再用上面的命令提交到HadoopCluster上去运行,在开发阶段那是极其繁琐的。程序员是“最懒”的,既然麻烦肯定是要想些法子减少无谓的键原创 2014-11-27 19:46:58 · 683 阅读 · 0 评论