关闭

ubtuntu hadoop2.7.1编译

标签: hadoopubuntu编译
155人阅读 评论(0) 收藏 举报

目录

一、前言

二、编译hadoop

2.1操作系统

2.2安装jdk

2.3安装maven

2.4安装openssh

2.5安装依赖库

2.6安装protoc

2.7开始编译

 

 

一前言

    官网上下载的预编译的hadoop安装包可能和自己的系统位数不一样(32位,64位),所以有时要下载源码来编译合乎自己系统需求的hadoop安装包。

    查看hadoop安装包所要求的系统位数方法;解压安装包后到"hadoop-2.7.1/lib/native"目录下,执行“file libhadoop.so.1.0.0”命令,会有“libhadoop.so.1.0.0:ELF 32-bit LSB shared......”提示信息,32-bit意味着此安装包适合32位的系统。如果安装包和系统版本的位数不对应,则在执行hadoop命令是,会有类似“util.NativeCodeLoader: Unable toload native-hadoop library for your platform… using builtin-java classes whereapplicable“这样的警告信息。

 二编译hadoop

 2.1操作系统

       ubuntu12.04,32位

2.2安装jdk

       步骤略,所用的jdk版本1.8。执行“java-version",显示信息“java version"1.8.0_91"“。

2.3安装maven

    通过命令方式安装:sudoapt-get install maven。查看maven版本信息:mvn --version。

    可以下载maven安装包安装,所用的版本是“apache-maven-3.3.9”。下载好maven压缩包解压后,配置完环境变量即可:

    exportMaven_HOME=/usr/local/maven/apache-maven-3.3.9
    export PATH=$Maven_HOME/bin:$PATH

2.4安装openssh

    sudo apt-getinstall openssh-server

2.5安装依赖库

    sudo apt-getinstall g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

2.6安装protoc

    命令安装:sudoapt-get install protobuf-compiler。显示版本信息:protoc --version.

    可以通过安装包安装,所用安装包为:protobuf-2.5.0.tar.gz。

    解压:tar-zxf protobuf-2.5.0.tar.gz。

    进入目录:cdprotobuf-2.5.0。

    设置安装目录:./configure--prefix=自行设置

    执行make命令:make.

    修改环境变量:exportPATH=自行设置的目录/bin:$PATH加入到环境变量中

    验证:protoc--version。如显示libprotoc 2.5.0则安装成功

2.7开始编译

    执行maven命令:mvnclean package -Pdist,native -DskipTests -Dtar。

    需要二十多分钟。


学习资料

1,《ubuntu 环境下编译 hadoop 2.6.0的简单方法》(http://blog.sina.com.cn/s/blog_549667a50102v83x.html)

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:33782次
    • 积分:742
    • 等级:
    • 排名:千里之外
    • 原创:41篇
    • 转载:3篇
    • 译文:0篇
    • 评论:8条
    最新评论