Hadoop-2.3.0-cdh5.0.0 获取源码及编译

编译

请参考 Hadoop 版本编译前的准备

---

从 http://archive.cloudera.com/cdh5/cdh/5/ 里下载 hadoop-2.3.0-cdh5.0.0-src.tar.gz （2014-3-31）

1. 将压缩包放至 /home/hadoop/software，并解压

cd home/hadoop/software
tar -zxvf hadoop-2.3.0-cdh5.0.0-src.tar.gz

2. 获取源码

cd  /home/hadoop/software/hadoop-2.3.0-cdh5.0.0/hadoop-maven-plugins
mvn install 

完成后，能看到

cd /home/hadoop/software/hadoop-2.3.0-cdh5.0.0

mvn clean install –DskipTests 
或者 mvn package -Pdist,native -DskipTests -Dtar // 笔者用这个 

3. 编译源码

• 进入源码目录下：

cd /home/hadoop/software/hadoop-2.3.0-cdh5.0.0

• 开始执行

mvn package -Pdist,native -DskipTests -Dtar 

这个要等待很长时间，如果中间出现停掉，可以重新执行该命令，会继续上次下载编译

编译结果

1. 编译成功后会生成一个tar包，如下图所示：

• 然后输出一堆东东

2. 编译后的路径在 hadoop-2.3.0-cdh5.0.0/src/hadoop-dist/target

cd /home/hadoop/software/hadoop-2.3.0-cdh5.0.0/hadoop-dist/target/
ls -al

3. 配置环境变量，查看版本

vim ~/.bash_profile

• 添加如下环境变量

export HADOOP_HOME=/home/hadoop/software/hadoop-2.3.0-cdh5.0.0/hadoop-dist/target/hadoop-2.3.0-cdh5.0.0
export PATH=$PATH:$HADOOP_HOME/bin

• 使环境变量立即生效

source ~/.bash_profile

• 查看编译后的 hadoop 版本

不这么做，直接查看的后果可能是

hadoop -version