ubtuntu hadoop2.7.1编译

原创 2016年08月30日 16:37:49

目录

一、前言

二、编译hadoop

2.1操作系统

2.2安装jdk

2.3安装maven

2.4安装openssh

2.5安装依赖库

2.6安装protoc

2.7开始编译

 

 

一前言

    官网上下载的预编译的hadoop安装包可能和自己的系统位数不一样(32位,64位),所以有时要下载源码来编译合乎自己系统需求的hadoop安装包。

    查看hadoop安装包所要求的系统位数方法;解压安装包后到"hadoop-2.7.1/lib/native"目录下,执行“file libhadoop.so.1.0.0”命令,会有“libhadoop.so.1.0.0:ELF 32-bit LSB shared......”提示信息,32-bit意味着此安装包适合32位的系统。如果安装包和系统版本的位数不对应,则在执行hadoop命令是,会有类似“util.NativeCodeLoader: Unable toload native-hadoop library for your platform… using builtin-java classes whereapplicable“这样的警告信息。

 二编译hadoop

 2.1操作系统

       ubuntu12.04,32位

2.2安装jdk

       步骤略,所用的jdk版本1.8。执行“java-version",显示信息“java version"1.8.0_91"“。

2.3安装maven

    通过命令方式安装:sudoapt-get install maven。查看maven版本信息:mvn --version。

    可以下载maven安装包安装,所用的版本是“apache-maven-3.3.9”。下载好maven压缩包解压后,配置完环境变量即可:

    exportMaven_HOME=/usr/local/maven/apache-maven-3.3.9
    export PATH=$Maven_HOME/bin:$PATH

2.4安装openssh

    sudo apt-getinstall openssh-server

2.5安装依赖库

    sudo apt-getinstall g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

2.6安装protoc

    命令安装:sudoapt-get install protobuf-compiler。显示版本信息:protoc --version.

    可以通过安装包安装,所用安装包为:protobuf-2.5.0.tar.gz。

    解压:tar-zxf protobuf-2.5.0.tar.gz。

    进入目录:cdprotobuf-2.5.0。

    设置安装目录:./configure--prefix=自行设置

    执行make命令:make.

    修改环境变量:exportPATH=自行设置的目录/bin:$PATH加入到环境变量中

    验证:protoc--version。如显示libprotoc 2.5.0则安装成功

2.7开始编译

    执行maven命令:mvnclean package -Pdist,native -DskipTests -Dtar。

    需要二十多分钟。


学习资料

1,《ubuntu 环境下编译 hadoop 2.6.0的简单方法》(http://blog.sina.com.cn/s/blog_549667a50102v83x.html)

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

centos中Hadoop2.7.1 hbase1.3编译snappy

一、准备编译所需组件: 1. hadoop-2.7.1-src.tar.gz, 官网自行下载 2. snappy-1.1.3.tar.gz,wget https://github.com/goog...

hadoop-2.7.1 64位编译包 part3

  • 2015-07-21 09:55
  • 41.51MB
  • 下载

CentOS6.5+HADOOP2.7.1安装配置测试编译详细教程

HADOOP2.7.0为测试版本,2.7.1才是正式版 由于网络上向下载的hadoop-2.7.1.tar.gz无法在64位系统运行【存在native 32->64问题等】,所以下载源代码自行编译了,...
  • lbyyy
  • lbyyy
  • 2015-10-09 16:33
  • 1705

Hadoop-2.7.1已编译64位

本地编译Hadoop2.7.1源码总结和问题解决

分享一下编译的过程、遇到的问题以及相应的解决办法,以供接下来学习的人查阅。

Hadoop2.7.1编译

  • 2015-10-02 17:20
  • 498KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)