hadoop2.2编译

原创 2013年12月03日 15:29:45

默认官方提供的包一般都是32bit的native库文件,cdh4版本的直接无库文件,但是在生产上一般都是64bit操作系统,所以库文件是需要重新编译的,本文就针对重新编译hadoop2.2源码包做了整理,参考了很多文章,最终形成一个比较稳定的编译过程,2.0以上版本应该都通用,没有全部测试,JDK版本还有protoc版本换一下就成。

本文编译环境:

操作系统:redhat 6.2 64bit

依赖组件安装:

SUN JDK1.7以上,64bit(切记)----官方的build文件中是1.6,实际编译是有问题的

Maven 3.0

Findbugs 1.3.9以上版本

 ProtocolBuffer 2.5.0

CMake 2.6 or newer

要求能上网

openssl

gcc

gcc-c++

ant

安装步骤:

jdk:下载tar包解压后设置环境变量就可

安装gcc,gcc-c++,ant,openssl,cmake,openssl-devel----yum install gcc,gcc-c++,ant,openssl,cmake,openssl-devel

安装ProtocolBuffer:configure && make && make install

安装findbugs,maven:下载tar包直接解压,设置环境变量就可

环境变量设置:

#vi /etc/profile  
export FINDBUGS_HOME=/opt/findbugs-1.3.9
export MAVEN_HOME=/opt/apache-maven-3.0.3
export JAVA_HOME=/usr/java/jdk1.7.0_17
export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$java_home/bin:$path
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$MAVEN_HOME/lib:$FINDBUGS_HOME/lib
 
执行source /etc/profile,注:如无root权限可在用户家目录的.bash_profile进行设置,设置完毕后退出重新登录就可生效
编译:

mvn package -Pdist,native -DskipTests -Dtar

编译成功后在/opt/hadoop-2.0.0-cdh4.2.1/src/hadoop-dist/target会形成新的tar包,你也可以将生成native库文件直接拷到下载的包中使用。

相关文章推荐

hadoop2.2 eclipse插件编译

  • 2013年12月30日 11:28
  • 665KB
  • 下载

Hadoop 2.2编译安装详解

  • 2014年06月30日 17:03
  • 661KB
  • 下载

云计算(十七)- Windows下编译Hadoop2.2源码并引入eclipse

环境: SVN或者小乌龟 ant maven protoc(http://download.csdn.net/detail/can007/5816063) VS2010 第一步:从SVN下载code...

hadoop2.2 64位 (下)

  • 2014年01月21日 10:45
  • 41.71MB
  • 下载

hadoop 2.2 安装包

  • 2015年11月17日 12:18
  • 91.69MB
  • 下载

hadoop2.2环境配置

场景介绍:主机mac pro,安装了两台虚拟机,虚拟机均为Ubuntu系统 ubuntu系统配置jdk 1、到 Sun 的官网下载 http://www.oracle.com/tec...

hadoop2.2伪分布式集群搭建

  • 2015年06月30日 09:47
  • 6KB
  • 下载

hadoop2.2 api

  • 2014年09月01日 22:11
  • 6.74MB
  • 下载

Win7 Eclipse调试Centos Hadoop2.2-Mapreduce

原文地址:http://zy19982004.iteye.com/blog/2024467   一. 自己搭建开发环境      今天自己搭建了一套Centos5.3 + Hadoop...

hadoop-commin-2.2.zip

  • 2014年05月14日 11:12
  • 273KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop2.2编译
举报原因:
原因补充:

(最多只允许输入30个字)