- 博客(3)
- 资源 (13)
- 收藏
- 关注
原创 【Hadoop】Build and Execute
Hadoop官方wiki上介绍了如何用Maven编译和生成Eclipse项目,但是它需要hadoop-common的trunk代码,因为只有trunk上有pom.xml文件。而对于其他release版本的源代码,都包含build.xml,因此可以通过ant来编译。本文根据自己的经验,总结一下如何将下载的tar.gz源码包导入Eclipse,进而通过Eclipse编译和执行Hadoop。 Comp
2013-07-16 21:59:36 1232
原创 【Hadoop】MapReduce Job Submission Files - 代码描述
Copy Job jar File org.apache.hadoop.mapred.JobClient.submitJobInternal() --> copyAndConfigureFiles() String originalJarPath = job.getJar(); //junz-20130713: Copy job jar file to JT's file
2013-07-15 22:34:30 1199
原创 【Hadoop】MapReduce Job Submission Files
整个MapReduce Job运行流程的最初几步是Client向JobTracker(JT)提交Job,如下图所示,图中第三步是将Job运行相关资源copy到JT可见的文件系统上。本文将讨论Client需要copy的主要文件。 下图列出了copy到staging dir上的几个文件:首先,显而易见的是,job.jar包含Job要执行的程序;job.xml包含所有配置信息(所有可配置的pr
2013-07-15 22:10:08 2020
Understanding the Linux Kernel
2008-02-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人