大数据越来越火,作为大数据开发的开源框架hadoop成为大部分大数据开发人员的首选。今天我就来做个hadoop开发平台。
一.hadoop源码下载及编译
由于hadoop部分只提供32位的执行程序,所以如果要搭建 64位系统的的集群,需要自己下载源码进行编译。
下载源码地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.5.2/ 下载 hadoop-2.5.2-src.tar.gz ,hadoop-2.5.2.tar.gz 是32位可执行程序,如果系统要装32位的同学可以直接下载使用,不需要编译。 如果国内访问不正常的可以 从这里下载 :http://download.csdn.net/detail/qyl445/8209011
编译hadoop源码:
1.下载并安装jdk,建议用1.7版本,不要用1.8,编译的时候可能会出错,具体下载安装,自己百度,在这里不做介绍;
2.下载并安装 foo2zjs.tar.gz 具体下载及安装请求助度娘,应该会很多的。
3.下载并安装 protobuf-2.5.0.tar.gz ,在这里提供protobuf 的下载地址 : http://download.csdn.net/detail/qyl445/8209017,在国内访问谷歌也是有一定的困难,
解压 tar zxvf protobuf-2.5.0.tar.gz ,cd protobuf-2.5.0/,执行 ./configure , 如果没错误,执行 make&&make install 。
4.安装maven,这个比较好装,官方下载地址:http://maven.apache.org/download.cgi ;
下载好后 放到 /usr目录下,用tar zxvf apache-maven-3.2.3-bin.tar.gz解压,
然后配置环境变量,vi /etc/profile ,增加
M2_HOME=/usr/maven/apache-maven-3.2.3
PATH=$PATH:$M2_HOME/bin
export M2_HOME PATH
保存后执行 source /etc/profile,以便及时生效
然后测试下是否安装成功 mvn -v ,如果正常显示maven版本,说明安装成功了
准备工作完成了,下面我们正式开始hadoop的编译工作,我用的系统是centos6.4,gc,gc++都更新都最新版本。
下面解压hadoop源文件,tar zxvf hadoop-2.5.2-src.tar.gz
cd 进入目录, more BUILDING.txt 可以看到编译hadoop 的详细命令,官方说明的编译命令是 mvn package -Pdist,native -DskipTests -Dtar
但是在最新版的maven下可能会报错,所以我修改命令为 mvn clean package -Pdist -Pnative -DskipTests -Dtar
当然一次编译成功几乎是不可能的,所以clean还是很有必要的,接下来就是等待,maven会下载各种jar包,由于我之前编译过2.4的版本,所以一次成功。祝各位好运。