Hadoop编译文档
1. 准备linux环境
准备一台linux环境,内存4G或以上,硬盘40G或以上,我这里使用的是Centos7.7 64位的操作系统(注意:一定要使用64位的操作系统),需要虚拟机联网,关闭防火墙,关闭selinux,安装好JDK8。
根据以上需求,只需要将node1再克隆一台即可,命名为node4,专门用来进行Hadoop编译。
2. 安装maven
这里使用maven3.x以上的版本应该都可以,不建议使用太高的版本,强烈建议使用3.0.5的版本即可
将maven的安装包上传到/export/software
然后解压maven的安装包到/export/server
cd /export/software/
tar **-**zxvf apache-maven-3.0.5-bin.tar.gz -C …/server/
配置maven的环境变量
vim **/etc/**profile
填写以下内容
export MAVEN_HOME**=/export/server/**apache-maven-3.0.5
export MAVEN_OPTS**=**"-Xms4096m -Xmx4096m"
export PATH**=:**** M A V E N H O M E / ∗ ∗ b i n ∗ ∗ : MAVEN_HOME/**bin**: MAVENHOME/∗∗bin∗∗:PATH**
让修改立即生效
source **/etc/**profile
解压maven的仓库
tar **-**zxvf mvnrepository.tar.gz -C /export/server/
修改maven的配置文件
cd **/export/server/apache-maven-3.0.5/**conf vim settings.xml
指定我们本地仓库存放的路径
/export/server/mavenrepo
添加一个我们阿里云的镜像地址,会让我们下载jar包更快
alimaven
aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central
3. 安装findbugs
解压findbugs
tar **-**zxvf findbugs-1.3.9.tar.gz -C …/server/
配置findbugs的环境变量
vim **/etc/**profile
添加以下内容:
export MAVEN_HOME**=/export/server/**apache-maven-3.0.5
export PATH**=:**** M A V E N H O M E / ∗ ∗ b i n ∗ ∗ : MAVEN_HOME/**bin**: MAVENHOME/∗∗bin∗∗:PATH**
export FINDBUGS_HOME**=/export/server/**findbugs-1.3.9
export PATH**=:**** F I N D B U G S H O M E / ∗ ∗ b i n ∗ ∗ : FINDBUGS_HOME/**bin**: FINDBUGSHOME/∗∗bin∗∗:PATH**
让修改立即生效
source **/etc/**profile
4. 在线安装一些依赖包
yum **-**y install autoconf automake libtool cmake
yum **-**y install ncurses-devel
yum **-**y install openssl-devel
yum **-**y install lzo-devel zlib-devel gcc gcc-c++
yum **-**y install bzip2-devel
5. 安装protobuf
解压protobuf并进行编译
cd **/export/**software
tar **-**zxvf protobuf-2.5.0.tar.gz -C …/server/
cd **/export/server/**protobuf-2.5.0
**./**configure
make && make install
6. 安装snappy
cd /export/software/
tar **-**zxvf snappy-1.1.1.tar.gz -C …/server/
cd …/server/snappy-1.1.1/
**./**configure
make && make install
7. 编译hadoop源码
对源码进行编译
cd **/export/**software
tar **-**zxvf hadoop-2.7.5-src.tar.gz -C …/server/
cd **/export/server/**hadoop-2.7.5
编译支持snappy压缩:
mvn package **-**DskipTests **-Pdist,**native **-**Dtar **-**Drequire.snappy -e -X
编译完成之后我们需要的压缩包就在下面这个路径里面,生成的文件名为hadoop-2.7.5.tar.gz
cd **/export/server/hadoop-2.7.5/hadoop-dist/**target
将编译后的Hadoop安装包导出即可。