Hadoop 源码下载，编译，install，导入eclipse

 

1，准备好环境

首现操作系统最好还是LINUX，WINDOWS上搞起来太麻烦

JDK1.5必须的，最好JDK1.6也准备好。以备版本升级的时候需要用

svn 1.5版本的或者以上的

eclipse http://www.eclipse.org/ 上下载 ||| eclipse的svn插件

ant http://ant.apache.org/ 下载

ivy http://ant.apache.org/ivy/ 下载，下载完后放在 ant的lib目录下，因为ivy是ant的一个子工程

forrest http://forrest.apache.org/mirrors.cgi#how 用于编译生成文档的类库

准备好以上环境，就差不多了。

 

2，下载源代码

注意存放目录：

比方我的目录结构是

/home/txy/work/hadoop  (存放common)

/home/txy/work/hadoop/hdfs (存放hdfs)

/home/txy/work/hadoop/mapred (存放mapred)

可以执行以下命令：

cd /home/txy/work

svn co http://svn.apache.org/repos/asf/hadoop/common/trunk hadoop

cd /home/txy/work/hadoop/

svn co http://svn.apache.org/repos/asf/hadoop/hdfs/trunk/ hdfs

cd /home/txy/work/hadoop/

svn co http://svn.apache.org/repos/asf/hadoop/mapreduce/trunk mapred

为什么要这样的目录结构呢？原因具体可以看hadoop/bin/hadoop-config.sh，看懂了之后当然也可以随意修改路径了

 

3,编译源代码，并发布到maven 的本地库

分别进入到上面三个目录中，进行编译：

cd /home/txy/work/hadoop/

ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8

cd /home/txy/work/hadoop/hdfs/

ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8

cd /home/txy/work/hadoop/ mapred /

ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8

这里的java5.home 和 forrest.home随各自电脑上安装的实际路径为准。

 

发布到本地maven 库在以上各目录中执行：

ant mvn-install 就可以了，那么我们写 程序的时候就可以用maven把这个库引进来了。

 

4，导入eclipse

方法一：

创建eclipse工程在创建之前，现设置：project --》build Automaticaly 勾掉，不要让它自动build

new --》java project --》create project from existing source--》 选择CO下来的目录 --》finish

导入之后，右键各工程的build.xml --》 build...--》

如果build common: use the eclipse-files and compile-core-test targets

如果build hdfs: use the targets compile, compile-hdfs-test, and eclipse-files

如果build MapRedues, use the targets compile, compile-mapreduce-test, and eclipse-files

 

方法二：

命令行 ant eclipse-files执行就可以了，然后eclipse中File-->import-->exsiting projects into workspace就可以了，不过建议还是不要build Automaticaly，要不然太麻烦了。

这样源代码就导入进来了，可以查看和修改了。

 

以上内容也可以参见：http://wiki.apache.org/hadoop/EclipseEnvironment

 

开发mapReduce程序的eclipse插件：

 

这个eclipse插件编译的问题还是没搞定，纠结中，看了官方网站是说：

首先在家目录下添加

eclipse-plugin.build.properties

在文件中写入：eclipse.home=/path/to/eclipse

然后再执行ant package就会编译生成 eclipse插件了。

但事实上会报错。。。用官方网站上已经编译好的插件，版本又和主干对不上的。

 

自己在机器上跑了下，还是不用hadoop插件了，主要配置正确，启动个hadoop就可以了。