hadoop64位编译及开发环境搭建(一)

4 篇文章 0 订阅

大数据越来越火,作为大数据开发的开源框架hadoop成为大部分大数据开发人员的首选。今天我就来做个hadoop开发平台。

一.hadoop源码下载及编译

    由于hadoop部分只提供32位的执行程序,所以如果要搭建 64位系统的的集群,需要自己下载源码进行编译。

    下载源码地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.5.2/     下载  hadoop-2.5.2-src.tar.gz  ,hadoop-2.5.2.tar.gz 是32位可执行程序,如果系统要装32位的同学可以直接下载使用,不需要编译。  如果国内访问不正常的可以 从这里下载 :http://download.csdn.net/detail/qyl445/8209011

     编译hadoop源码:

1.下载并安装jdk,建议用1.7版本,不要用1.8,编译的时候可能会出错,具体下载安装,自己百度,在这里不做介绍;

      2.下载并安装  foo2zjs.tar.gz   具体下载及安装请求助度娘,应该会很多的。

      3.下载并安装 protobuf-2.5.0.tar.gz  ,在这里提供protobuf 的下载地址 : http://download.csdn.net/detail/qyl445/8209017,在国内访问谷歌也是有一定的困难,

解压 tar zxvf protobuf-2.5.0.tar.gz  ,cd protobuf-2.5.0/,执行 ./configure , 如果没错误,执行 make&&make install 。

      4.安装maven,这个比较好装,官方下载地址:http://maven.apache.org/download.cgi ;

下载好后 放到 /usr目录下,用tar zxvf apache-maven-3.2.3-bin.tar.gz解压,

然后配置环境变量,vi /etc/profile  ,增加   

  M2_HOME=/usr/maven/apache-maven-3.2.3   

 PATH=$PATH:$M2_HOME/bin

export   M2_HOME  PATH

保存后执行  source /etc/profile,以便及时生效  

然后测试下是否安装成功    mvn -v     ,如果正常显示maven版本,说明安装成功了

准备工作完成了,下面我们正式开始hadoop的编译工作,我用的系统是centos6.4,gc,gc++都更新都最新版本。

下面解压hadoop源文件,tar zxvf  hadoop-2.5.2-src.tar.gz 

        cd 进入目录,  more  BUILDING.txt  可以看到编译hadoop 的详细命令,官方说明的编译命令是    mvn package -Pdist,native -DskipTests -Dtar   

但是在最新版的maven下可能会报错,所以我修改命令为   mvn clean package -Pdist -Pnative -DskipTests -Dtar

当然一次编译成功几乎是不可能的,所以clean还是很有必要的,接下来就是等待,maven会下载各种jar包,由于我之前编译过2.4的版本,所以一次成功。祝各位好运。

    

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值