ubtuntu hadoop2.7.1编译

原创 2016年08月30日 16:37:49

目录

一、前言

二、编译hadoop

2.1操作系统

2.2安装jdk

2.3安装maven

2.4安装openssh

2.5安装依赖库

2.6安装protoc

2.7开始编译

 

 

一前言

    官网上下载的预编译的hadoop安装包可能和自己的系统位数不一样(32位,64位),所以有时要下载源码来编译合乎自己系统需求的hadoop安装包。

    查看hadoop安装包所要求的系统位数方法;解压安装包后到"hadoop-2.7.1/lib/native"目录下,执行“file libhadoop.so.1.0.0”命令,会有“libhadoop.so.1.0.0:ELF 32-bit LSB shared......”提示信息,32-bit意味着此安装包适合32位的系统。如果安装包和系统版本的位数不对应,则在执行hadoop命令是,会有类似“util.NativeCodeLoader: Unable toload native-hadoop library for your platform… using builtin-java classes whereapplicable“这样的警告信息。

 二编译hadoop

 2.1操作系统

       ubuntu12.04,32位

2.2安装jdk

       步骤略,所用的jdk版本1.8。执行“java-version",显示信息“java version"1.8.0_91"“。

2.3安装maven

    通过命令方式安装:sudoapt-get install maven。查看maven版本信息:mvn --version。

    可以下载maven安装包安装,所用的版本是“apache-maven-3.3.9”。下载好maven压缩包解压后,配置完环境变量即可:

    exportMaven_HOME=/usr/local/maven/apache-maven-3.3.9
    export PATH=$Maven_HOME/bin:$PATH

2.4安装openssh

    sudo apt-getinstall openssh-server

2.5安装依赖库

    sudo apt-getinstall g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

2.6安装protoc

    命令安装:sudoapt-get install protobuf-compiler。显示版本信息:protoc --version.

    可以通过安装包安装,所用安装包为:protobuf-2.5.0.tar.gz。

    解压:tar-zxf protobuf-2.5.0.tar.gz。

    进入目录:cdprotobuf-2.5.0。

    设置安装目录:./configure--prefix=自行设置

    执行make命令:make.

    修改环境变量:exportPATH=自行设置的目录/bin:$PATH加入到环境变量中

    验证:protoc--version。如显示libprotoc 2.5.0则安装成功

2.7开始编译

    执行maven命令:mvnclean package -Pdist,native -DskipTests -Dtar。

    需要二十多分钟。


学习资料

1,《ubuntu 环境下编译 hadoop 2.6.0的简单方法》(http://blog.sina.com.cn/s/blog_549667a50102v83x.html)

hadoop2.7.1本地编译

Requirements: * Unix System * JDK 1.7+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs)...
  • zyj8170
  • zyj8170
  • 2015年07月17日 15:20
  • 8216

Hadoop2.7.1——64位源码编译

Hadoop2.7.1——64位源码编译 软件环境: CentOS6.5 64位, jdk1.7.02,64位 maven3.2.3, ant1.9.4. protobuf-2.5.0.tar.gz...
  • hanxindere
  • hanxindere
  • 2015年10月02日 17:47
  • 571

hadoop2.7.0升级到2.7.1,版本升级

发布时间: 2015/09/29 13:48 阅读: 426 收藏: 0 点赞: 0 评论: 0 摘要 使用过程中,发现hadoop的YARN-3832的bug,2.6.0中已解决...
  • javastart
  • javastart
  • 2016年07月26日 08:22
  • 802

本地编译Hadoop2.7.1源码总结和问题解决

分享一下编译的过程、遇到的问题以及相应的解决办法,以供接下来学习的人查阅。...
  • young_kim1
  • young_kim1
  • 2015年12月11日 22:26
  • 8335

e2fsprogs编译问题

今天需要编译e2fsprogs,遇到了问题,打印如下 zoned.c:159: warning: 'struct bdev_zone_descriptor' declared inside para...
  • lwy313722871
  • lwy313722871
  • 2016年10月14日 17:44
  • 1067

Hadoop2.7.1集群搭建

菜鸟配置Hadoop2.7.1集群搭建
  • sudaxhh
  • sudaxhh
  • 2015年07月29日 20:10
  • 367

从零开始搭建Hadoop2.7.1的分布式集群

2016-01-17 21:49 Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情...
  • fishineye
  • fishineye
  • 2016年01月19日 08:45
  • 1242

ubuntu搭建dns服务器

因为工作需要,需在局域网内搭建一台dns服务器。确实遇到一些问题,也有一些好的文章,作为记录。 参考链接如下: 搭建过程:http://www.linuxidc.com/Linux/2015-04...
  • marywang56
  • marywang56
  • 2017年09月07日 20:45
  • 110

(转载)Hadoop2.7.1配置

http://my.oschina.net/laigous/blog/478438 hadoop伪分布式搭建     其实官网有比较详实的说明,英语好的可以直接看官网,地址...
  • fjssharpsword
  • fjssharpsword
  • 2016年01月04日 16:58
  • 2117

win7 64位下安装ubtuntu双系统,默认windows7系统

1.右键点击我的电脑》管理》磁盘管理,选择一个空间较大的盘,右键选择压缩卷,笔者为Ubuntu划分了80G的空间(空间大小根据自己的需要自行选择,建议如果只是安装作为练习使用有30G就可以,要是自己有...
  • chenzhen1213
  • chenzhen1213
  • 2016年06月01日 16:01
  • 966
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ubtuntu hadoop2.7.1编译
举报原因:
原因补充:

(最多只允许输入30个字)