Hadoop源码编译 大数据学习(二)

Hadoop 源码编译

一、为什么需要源码编译

http://hadoop.apache.org/docs/r1.0.4/cn/native_libraries.html

二、怎么编译？

1 、基础环境

yum install wget  g++ autoconf automake libtool cmake zlib1g-dev pkg-config openssl-devel gcc-c++ zlib-devel   ncurses-devel  openssl-devel

2、 下载源码包 ，并上传到Linux 中

http://hadoop.apache.org/       Apache官方网站
http://archive.apache.org/dist/  Apache归档
在上述网站中均可下载到Hadoop的源码包

3、安装JDK,并且配置环境变量

export HADOOP_HOME=/home/hadoop/hadoop-2.6.0
export JAVA_HOME=/home/java/jdk1.8.0_181
export MAVEN_HOME=/home/maven/apache-maven-3.3.9/
export M2_HOME=/home/maven/apache-maven-3.3.9/
export FINDBUGS_HOME=/home/findbugs/findbugs-3.0.1/
export PATH=$PATH:$NODE_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$M2_HOME/bin:$FINDBUGS_HOME/bin

4、安装 Maven （版本：3.3.9）

Maven可以配置阿里云镜像

需要配置环境变量

MAVEN_HOME

M2_HOME

PATH

<mirrors>
	<mirror>
     	<id>alimaven</id>
      	<name>aliyun maven</name>
      	<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      	<mirrorOf>central</mirrorOf>        
    </mirror>
</mirrors>

5、安装 protobuf （版本：2.5）

https://github.com/protocolbuffers/protobuf 官方网站中很难找到2.5

https://pan.baidu.com/s/1pJlZubT   百度云
解压
编译
./configure --prefix=/home/protobuf/protobuf-2.5.0
make
make check
make install
cd bin 查看版本  ./protoc --version


配置环境变量

6、安装 findbugs （版本 ： 3.0.1）

http://findbugs.sourceforge.net/downloads.html
配置环境变量

export FINDBUGS_HOME=/home/findbugs/findbugs-3.0.1/
export PATH=$FINDBUGS_HOME/bin

7、开始编译

# 设置maven可以用内存
export MAVEN_OPTS="-Xms256m -Xmx512m"   

在Hadoop 源码根目录中运行 此命令
# 编译命令
mvn clean package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true

如果出现tomcat下载速度过慢
将已经准备好的tomcat 直接放入此目录即可
/home/hadoop/hadoop-2.6.0-src/hadoop-common-project/hadoop-kms/downloads/

如果第二次出现tomcat下载速度过慢
将已经准备好的tomcat 直接放入此目录即可
/home/hadoop/hadoop-2.6.0-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads/

8、编译成功

最后编译完成后 已经编译好的安装包存在此目录
/home/hadoop/hadoop-2.6.0-src/hadoop-dist/target/

今天晚上加个班明天有惊喜
三连 有吗~