Ubuntu 12.04下编译hadoop 2.2.0

本文介绍了在Ubuntu 12.04上编译Hadoop 2.2.0的详细步骤,包括遇到的Maven编译问题、源代码中的bug修复、所需软件的安装(如findbugs、libssl-dev、liblzo2-dev等)以及如何使用mvn package命令进行编译。
摘要由CSDN通过智能技术生成

本文大部分内容源自参考文献1。

1.使用Maven3.1.1的时候出现了很多错误,果断放弃。

我选择环境如下:

Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)
Maven home: /home/hadoop/apache-maven-3.0.5
java version "1.6.0_27"
OpenJDK Runtime Environment (IcedTea6 1.12.6) (6b27-1.12.6-1ubuntu0.12.04.4)
OpenJDK 64-Bit Server VM (build 20.0-b12, mixed mode)
Java home: /usr/bin/


2.  最新的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:
[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle
[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found

Patch :https://issues.apache.org/jira/browse/HADOOP-10110

3.安装所需软件

1)安装findbugs

mmicky@wyy:/app$ sudo tar zxf /home/mmicky/Soft/hadoop/findbugs-2.0.2.tar.gz

mmicky@wyy:/app$ sudo mv findbugs-2.0.2 findbugs202

mmicky@wyy:/app$ vi ~/.bashrc

增加两行:

export FINDBUGS_HOME=/app/findbugs202

export PATH=${FINDBUGS_HOME}/bin:$PATH

mmicky@wyy:/app$ source ~/.bashrc

注意:必须是设置为FINDBUGS_HOME,在编译的时候会引用${FINDBUGS_HOME}变量

2)安装依赖库

sudo apt-get install libssl-dev

sudo apt-get install liblzo2-dev

sudo apt-get install libncurses5-dev

3)cmake,protobuf-2.5.0

4. build hadoop 包:

mvn package -DskipTests -Pdist,native,docs -Dtar


参考文献:

1. CentOS编译Hadoop 2.2.0 Pass 总结http://blog.csdn.net/zwj0403/article/details/16855555

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值