Hadoop 版本编译前的准备

安装必备软件

1. 安装 gcc

yum install gcc

2. gcc-c++

yum install gcc-c++

这样可以避免出现问题：Cannot find appropriate C++ compiler on this system

3. JAVA

具体可参考笔者相关博文 Centos6.5 JAVA配置

4. 编译前准备其他Linux安装依赖包

以下可能需要管理者权限

yum install autoconf  automake  libtool  cmake  
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel  zlib-devel 
yum install ant  make

检查是否安装成功： xxx –version

autoconf (GNU Autoconf) 2.63
automake (GNU automake) 1.11.1
ltmain.sh (GNU libtool) 2.2.6b

5. 安装maven
具体可参考笔者相关博文 Centos6.5 下 Maven 安装

这里笔者要强调一下：有的时候，编译源码，在 Maven 上需要壮士断臂，将 ~/.m2/repository 删除！

rm -rf ~/.m2/repository

6. 安装protobuf

• 下载wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz 或者去笔者我资源下下载 protobuf-2.5.0.tar.gz
• 解压压缩文件

tar -zxvf protobuf-2.5.0.tar.gz

• 进入protobuf-2.5.0目录，执行下面的命令

./configure
make
make check  
make install

其中 make check 这个步骤非常耗时

• 检验 protoc –version 看能否出现 libprotoc 2.5.0 信息

7. 安装cmake

• 下载 wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz 或者笔者我相关资源处 下载cmake-2.8.12.2.tar.gz
• 解压压缩文件

 tar -zxvf cmake-2.8.12.2.tar.gz 

• 进入cmake-2.8.12.2目录，执行下面的命令

./bootstrap
make
make install

• 通过cmake –version来查看是否安装正常，若为cmake version 2.8.12.2 则ok!

8. 安装autotool

yum install autoconf automake libtool

9. 网上有说可能还需要findingbugs

• 下载地址
  http://sourceforge.jp/projects/sfnet_findbugs/downloads/findbugs/3.0.0/findbugs-3.0.0-dev-20131204-e3cbbd5.tar.gz/
  或者笔者我的资源处下载
• 设置环境变量：vim /etc/profile

export FINDBUGS_HOME=/opt/softwares/findbugs-3.0.0
export PATH=$PATH:$FINDBUGS_HOME/bin

10. 确保能上网！！！

---

下载相应的 hadoop 源代码

• 如果是 Apache 版本的 hadoop，则可通过官网下载 http://archive.apache.org/dist/hadoop/common/

• 如果是 CHD 版本的 hadoop ，则可通过此处下载 http://archive.cloudera.com/cdh5/cdh/5/

有的版本的 hadoop 天生就有缺陷，可能需要修改某些配置文件，比如 hadoop-2.2.0

---

CDH5 版本请使用 CDH 5 Maven Repository

将下载好的 hadoop 源码解压了，然后进入解压文件。这里以 hadoop-2.5.0-cdh5.2.0 为例

tar -zxvf hadoop-2.5.0-cdh5.2.0-src.tar.gz 

然后修改内部的 pom.xml 文件

cd hadoop-2.5.0-cdh5.2.0-src
vim pom.xml

添加下列代码：