hadoop2.x编译（一）

本文通过在vmware的CentOS6.5系统下完成hadoop2.7.1的编译任务，详细说明hadoop2.x的编译方法。

编译环境：

操作系统 CentOS6.5，64位

java环境 jdk1.8.0_51

hadoop版本：hadoop2.7.1

vmware:10.0.6

1.资源下载

1.1CentOS6.5下载

CentOS6.5的下载网上很多，找一下就能找到，下边是我找的一个下载地址：

http://mirror.symnds.com/distributions/CentOS-vault/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso

1.2资源清单

jdk下载http://pan.baidu.com/s/1dDubkg5

protobuf-2.5.0.tar.gzhttp://download.csdn.net/detail/greatplain/9068133

apache-maven-3.3.3-bin.tar.gz http://download.csdn.net/detail/greatplain/9068119
apache-ant-1.9.4-bin.tar.gz http://download.csdn.net/detail/greatplain/9068109

findbugs-2.0.3.tar.gzhttp://download.csdn.net/detail/greatplain/9068153

hadoop-2.7.1-src.tar.gzhttp://download.csdn.net/detail/greatplain/9068127

2.安装

2.1.CentOS6.5安装

2.1.1创建虚拟机，完成CentOS6.5的安装

2.1.2参考 vmware虚拟机配置,完成网络设置，并确认外网畅通；

2.1.3通过secureCRT登录已安装的操作系统。

2.1.4完成lrzsz的安装。

[root@hadoop ~]$ yum install lrzsz

2.2.上传文件到虚拟机上

2.2.1创建software路径，并进入。

[root@hadoop ~]# mkdir software
[root@hadoop ~]# ll
total 68
-rw-------. 1 root root  2684 Aug 30  2015 anaconda-ks.cfg
-rw-r--r--. 1 root root 41364 Aug 30  2015 install.log
-rw-r--r--. 1 root root  9317 Aug 30  2015 install.log.syslog
drwxr-xr-x. 2 root root  4096 Aug 29 22:15 software
[root@hadoop ~]# cd software
[root@hadoop software]# 

2.2.2将下载的文件复制到software路径下

2.3.jdk安装

2.3.1.解压压缩包到/usr/local目录下

[root@hadoop software]# tar -xvf jdk-8u51-linux-x64.tar.gz -C /usr/local/

2.3.2.验证:

[root@hadoop software]# ll /usr/local/
total 44
drwxr-xr-x. 2 root root 4096 Sep 23  2011 bin
drwxr-xr-x. 2 root root 4096 Sep 23  2011 etc
drwxr-xr-x. 2 root root 4096 Sep 23  2011 games
drwxr-xr-x. 2 root root 4096 Sep 23  2011 include
drwxr-xr-x. 8 uucp  143 4096 Jun  8 19:40 jdk1.8.0_51
drwxr-xr-x. 2 root root 4096 Sep 23  2011 lib
drwxr-xr-x. 2 root root 4096 Sep 23  2011 lib64
drwxr-xr-x. 2 root root 4096 Sep 23  2011 libexec
drwxr-xr-x. 2 root root 4096 Sep 23  2011 sbin
drwxr-xr-x. 5 root root 4096 Aug 30  2015 share
drwxr-xr-x. 2 root root 4096 Sep 23  2011 src

2.3.3.编辑profile文件，

[root@hadoop local]# vi /etc/profile

添加如下内容

export  JAVA_HOME=/usr/local/jdk1.8.0_51
export  JRE_HOME=$JAVA_HOME/jre
export  CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export  PATH=$PATH:$JAVA_HOME/bin

保存，退出

2.3.4.使修改生效

[root@hadoop local]# source /etc/profile

2.3.5.验证

[root@hadoop local]# java -version
java version "1.8.0_51"
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)

注：如果版本显示1.5，或其他，可以用如下指令进行移除

yum remove java

然后重启虚拟机

2.4必备程序安装

yum -y install gcc*
yum -y install cmake
yum -y install glibc-headers

yum -y install openssl-devel
yum -y install svn
yum -y install git
yum -y install ncurses-devel 
yum -y install lzo-devel
yum -y install autoconf
yum -y install libtool
yum -y install automake

yum -y install kernel-devel

yum install -y libxml2 libxml2-devel libxslt libxslt-devel