关闭

hadoop2.2编译

标签: hadoop源码
998人阅读 评论(0) 收藏 举报

默认官方提供的包一般都是32bit的native库文件,cdh4版本的直接无库文件,但是在生产上一般都是64bit操作系统,所以库文件是需要重新编译的,本文就针对重新编译hadoop2.2源码包做了整理,参考了很多文章,最终形成一个比较稳定的编译过程,2.0以上版本应该都通用,没有全部测试,JDK版本还有protoc版本换一下就成。

本文编译环境:

操作系统:redhat 6.2 64bit

依赖组件安装:

SUN JDK1.7以上,64bit(切记)----官方的build文件中是1.6,实际编译是有问题的

Maven 3.0

Findbugs 1.3.9以上版本

 ProtocolBuffer 2.5.0

CMake 2.6 or newer

要求能上网

openssl

gcc

gcc-c++

ant

安装步骤:

jdk:下载tar包解压后设置环境变量就可

安装gcc,gcc-c++,ant,openssl,cmake,openssl-devel----yum install gcc,gcc-c++,ant,openssl,cmake,openssl-devel

安装ProtocolBuffer:configure && make && make install

安装findbugs,maven:下载tar包直接解压,设置环境变量就可

环境变量设置:

#vi /etc/profile  
export FINDBUGS_HOME=/opt/findbugs-1.3.9
export MAVEN_HOME=/opt/apache-maven-3.0.3
export JAVA_HOME=/usr/java/jdk1.7.0_17
export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$java_home/bin:$path
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$MAVEN_HOME/lib:$FINDBUGS_HOME/lib
 
执行source /etc/profile,注:如无root权限可在用户家目录的.bash_profile进行设置,设置完毕后退出重新登录就可生效
编译:

mvn package -Pdist,native -DskipTests -Dtar

编译成功后在/opt/hadoop-2.0.0-cdh4.2.1/src/hadoop-dist/target会形成新的tar包,你也可以将生成native库文件直接拷到下载的包中使用。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:7364次
    • 积分:113
    • 等级:
    • 排名:千里之外
    • 原创:4篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章存档