- 博客(3)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 【Hadoop】Build and Execute
Hadoop官方wiki上介绍了如何用Maven编译和生成Eclipse项目，但是它需要hadoop-common的trunk代码，因为只有trunk上有pom.xml文件。而对于其他release版本的源代码，都包含build.xml，因此可以通过ant来编译。本文根据自己的经验，总结一下如何将下载的tar.gz源码包导入Eclipse，进而通过Eclipse编译和执行Hadoop。Comp
2013-07-16 21:59:36
1232
原创 【Hadoop】MapReduce Job Submission Files - 代码描述
Copy Job jar File org.apache.hadoop.mapred.JobClient.submitJobInternal() --> copyAndConfigureFiles() String originalJarPath = job.getJar(); //junz-20130713: Copy job jar file to JT's file
2013-07-15 22:34:30
1199
原创 【Hadoop】MapReduce Job Submission Files
整个MapReduce Job运行流程的最初几步是Client向JobTracker(JT)提交Job，如下图所示，图中第三步是将Job运行相关资源copy到JT可见的文件系统上。本文将讨论Client需要copy的主要文件。下图列出了copy到staging dir上的几个文件：首先，显而易见的是，job.jar包含Job要执行的程序；job.xml包含所有配置信息(所有可配置的pr
2013-07-15 22:10:08
2020
Understanding the Linux Kernel
2008-02-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人