Ubuntu上使用Hadoop 2.x 三 编译2.2.0 64bit版本

本文档详细介绍了如何在Ubuntu系统上编译和安装Hadoop 2.2.0的64位版本。首先,从源代码开始,遇到并解决缺少protocol buffer库的问题。在成功编译后,找到编译后的文件,并将其解压缩。接着,将native目录的内容复制到指定位置,替换32位文件。为了运行示例程序,确保在/etc/hosts中正确配置,并在yarn-site.xml中添加必要的配置项。
摘要由CSDN通过智能技术生成

下载源代码:

wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz

然后解压:

tar zxvf hadoop-2.2.0-src.tar.gz
cd hadoop-2.2.0-src

运行下面的命令开始编译:

~/code/hadoop-2.2.0-src$ mvn package -Pdist,native -DskipTests -Dtar
下载了很多maven的东东后,编译报错:

[ERROR] COMPILATION ERROR : 
[INFO] -------------------------------------------------------------
[ERROR] /home/hduser/code/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[88,11] error: cannot access AbstractLifeCycle
[ERROR]   class file for org.mortbay.component.AbstractLifeCycle not found
/home/hduser/code/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[96,29] error: cannot access LifeCycle
[ERROR]   class file for org.mortbay.component.LifeCycle not found

编辑hadoop-common-project/hadoop-auth/pom.xml文件,添加依赖:

    <dependency>
      <groupId>org.mortbay.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <scope>test</scope>
    </dependency>

再次编译,这个错误解决了。 注意,2.3.0之后不需要修改pom.xml,这个问题已经解决。

之后遇到了没有安装protocol buffer库的错误,安装一下:

[INFO] --- hadoop-maven-plugins:2.2.0:protoc (compile-protoc) @ hadoop-common ---
[W
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值