目录
一前言
官网上下载的预编译的hadoop安装包可能和自己的系统位数不一样(32位,64位),所以有时要下载源码来编译合乎自己系统需求的hadoop安装包。
查看hadoop安装包所要求的系统位数方法;解压安装包后到"hadoop-2.7.1/lib/native"目录下,执行“file libhadoop.so.1.0.0”命令,会有“libhadoop.so.1.0.0:ELF 32-bit LSB shared......”提示信息,32-bit意味着此安装包适合32位的系统。如果安装包和系统版本的位数不对应,则在执行hadoop命令是,会有类似“util.NativeCodeLoader: Unable toload native-hadoop library for your platform… using builtin-java classes whereapplicable“这样的警告信息。
二编译hadoop
2.1操作系统
ubuntu12.04,32位
2.2安装jdk
步骤略,所用的jdk版本1.8。执行“java-version",显示信息“java version"1.8.0_91"“。
2.3安装maven
通过命令方式安装:sudoapt-get install maven。查看maven版本信息:mvn --version。
可以下载maven安装包安装,所用的版本是“apache-maven-3.3.9”。下载好maven压缩包解压后,配置完环境变量即可:
exportMaven_HOME=/usr/local/maven/apache-maven-3.3.9
export PATH=$Maven_HOME/bin:$PATH
2.4安装openssh
sudo apt-getinstall openssh-server
2.5安装依赖库
sudo apt-getinstall g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
2.6安装protoc
命令安装:sudoapt-get install protobuf-compiler。显示版本信息:protoc --version.
可以通过安装包安装,所用安装包为:protobuf-2.5.0.tar.gz。
解压:tar-zxf protobuf-2.5.0.tar.gz。
进入目录:cdprotobuf-2.5.0。
设置安装目录:./configure--prefix=自行设置
执行make命令:make.
修改环境变量:exportPATH=自行设置的目录/bin:$PATH加入到环境变量中
验证:protoc--version。如显示libprotoc 2.5.0则安装成功
2.7开始编译
执行maven命令:mvnclean package -Pdist,native -DskipTests -Dtar。
需要二十多分钟。
学习资料
1,《ubuntu 环境下编译 hadoop 2.6.0的简单方法》(http://blog.sina.com.cn/s/blog_549667a50102v83x.html)