CentOS 64位上编译 Hadoop 2.6.0

最新推荐文章于 2020-05-19 10:37:14 发布

ilovemilk

最新推荐文章于 2020-05-19 10:37:14 发布

阅读量8.3k

点赞数 1

分类专栏：云计算 Unix/Linux/Bsd 文章标签： mapreduce yarn maven hadoop

本文链接：https://blog.csdn.net/ilovemilk/article/details/44465487

版权

本文详细介绍了如何在64位的CentOS操作系统上从源码编译Hadoop 2.6.0。首先需要安装必要的编译环境，包括cmake、JDK 1.7、protobuf、ANT和Maven。接着，按照步骤下载并编译安装这些组件，最后成功编译并打包了Hadoop 2.6.0。

摘要由CSDN通过智能技术生成

Hadoop不提供64位编译好的版本，只能用源码自行编译64位版本。学习一项技术从安装开始，学习hadoop要从编译开始。

1.操作系统编译环境

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

2.安装JDK

下载JDK1.7，注意只能用1.7，否则编译会出错
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

tar zxvf jdk-7u75-linux-x64.tar.gz -C /app

export JAVA_HOME=/app/jdk1.7.0_75
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$JAVA_HOME/bin

3.安装protobuf

下载protobuf-2.5.0，不能用高版本，否则Hadoop编译不能通过
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

tar xvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
make
make install
ldconfig

protoc --version

4.安装ANT

wget http://mirror.bit.edu.cn/apache/ant/binaries/apache-ant-1.9.4-bin.tar.gz
tar zxvf apache-ant-1.9.4-bin.tar.gz -C /app

vi /etc/profile
export ANT_HOME=/app/apache-ant-1.9.4
PATH=$PATH:$ANT_HOME/bin

5.安装maven

wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.1/binaries/apache-maven-3.3.1-bin.tar.gz

tar zxvf apache-maven-3.3.1-bin.tar.gz -C /app

vi /etc/profile
export MAVEN_HOME=/app/apache-maven-3.3.1
export PATH=$PATH:$MAVEN_HOME/bin

修改配置文件
vi /app/apache-maven-3.3.1/conf/settings.xml

更改maven资料库，在<mirrors></mirros>里添加如下内容：

<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<